왜 우리가 때때로 부정적인 (로그) 가능성을 사용하는지 궁금합니다.

이 질문은 오랫동안 당황했습니다. 나는 가능성을 극대화하기 위해 '로그'의 사용을 이해하므로 '로그'에 대해 묻지 않습니다.

내 질문은 로그 가능성을 최대화하는 것이 "음성 로그 가능성"(NLL)을 최소화하는 것과 같기 때문에 왜이 NLL을 발명합니까? 왜 "긍정적 우도"를 항상 사용하지 않습니까? 어떤 상황에서 NLL이 선호됩니까?

여기에 약간의 설명이 있습니다. https://quantivity.wordpress.com/2011/05/23/why-minimize-negative-log-likelihood/ 이지만 명백한 동등성을 설명하는 것처럼 보이지만 내 혼란을 해결하지는 못합니다.

모든 설명을 부탁드립니다.

이것은 인 대안 않음 : 통계 패키지 옵티마는 일반적으로 작동 최소화 함수의 결과. 함수가 우도 값을 먼저 제공하면 우도 함수에 의해 반환되는 값을 줄이기 위해 로그를 사용하는 것이 더 편리합니다. 그런 다음 로그 우도 및 우도 함수의 추세가 증가 또는 감소 하기 때문에 실제로 테스트중인 함수 의 최대 우도 추정을 수행하기 위해 음의 로그 우도를 최소화 할 수 있습니다 . 예를 들어 R 의 함수를 참조 하십시오.nlminb

옵티마이 저는 일반적으로 함수를 최소화하므로 로그 가능성 또는 가능성 자체를 최대화하는 것과 동일한 음의 로그 가능성을 최소화로 사용합니다.

완전성을 위해 로그는 단조 함수라고 언급하므로 함수를 최적화하는 것은 로그를 최적화하는 것과 같습니다. 우도 함수의 로그 변환을 수행하면 처리가 더 쉬워지고 (곱셈이 합산 됨) 수치 적으로 더 안정적입니다. 가능성의 크기가 매우 작을 수 있기 때문입니다. 로그 변환을 수행하면이 작은 숫자를 더 큰 음수 값으로 변환하여 유한 정밀 기계가 더 잘 처리 할 수 ​​있습니다.

여기서 최소화 는 두 분포의 거리를 가장 낮은 목표 베르누이 분포와 생성 된 결과 분포로 줄이는 것을 의미 합니다 . 우리는 Kullback-Leibler divergence (상대 엔트로피라고도 함)를 사용하여 두 분포의 거리를 측정하고, 많은 이론으로 인해 KL 분기를 최소화하는 것은 교차 엔트로피를 최소화하는 양입니다 (멀티 클래스 교차 엔트로피, 여기 또는 이진 분류, 여기 및 참조) 여기 ).

그러므로

로그 우도를 최대화하는 것은 "음의 로그 우도"를 최소화하는 것과 같습니다.

로 번역 될 수있다

로그 우도를 최대화하는 것은 두 분포 사이의 거리를 최소화하는 것과 같으므로 KL 발산을 최소화 한 다음 교차 엔트로피를 최소화하는 것과 같습니다.

나는 그것이 매우 직관적이되었다고 생각합니다.

대답은 생각보다 간단합니다. 우리는 최적화 목적 함수를 "비용 함수"또는 "손실 함수"라고 부르는 규칙이므로이를 최대화하기보다는 최소화하기 때문에 긍정적 인 가능성보다는 부정적인 로그 가능성이 형성됩니다. 워드. 기술적으로는 둘 다 맞습니다. 그건 그렇고, 우리가 무언가를 최대화하고 싶다면 보통 "유틸리티 기능"이라고 부르고 목표는 그것을 최대화하는 것입니다.