그것은 실제로 로그 가능성의 편의 일뿐입니다.
나는 합계 대 제품의 편리함을 의미합니다 : , 차등 또는 통합과 같은 여러 측면에서 합계를 다루기가 더 쉽습니다. 기하 급수적 인 가족에게는 편의가 아닙니다.ln(∏ixi)=∑ilnxi
임의 표본을 다룰 때의 가능성은 다음과 같습니다. 이므로 로그 가능성은이 제품을 합으로 나눠서 조작 및 분석하기가 더 쉽습니다. 그것은 우리가 걱정하는 모든 것이 최대의 지점이되고, 최대 값은 중요하지 않으므로 로그와 같은 단조로운 변환을 적용 할 수 있습니다.L=∏ipi
곡률 직관. 기본적으로 로그 가능성의 2 차 파생물과 기본적으로 동일합니다.
업데이트 : 이것이 곡률에 대한 의미입니다. 함수가있는 경우 곡률은 다음과 같습니다 ( Wolfram의 (14) 참조 ) :
y=f(x)
κ=f′′(x)(1+f′(x)2)3/2
로그 우도의 2 차 미분 :
A=(lnf(x))′′=f′′(x)f(x)−(f′(x)f(x))2
최대 점에서 첫 번째 도함수는 분명히 0이므로 다음과 같이 얻을 수 있습니다.
따라서 내 곡률은 가능성과 로그 가능성의 두 번째 파생물은 같은 것입니다.
κmax=f′′(xmax)=Af(xmax)
다른 한편으로, 우도의 1 차 미분이 최대 일 때뿐만 아니라 최대 지점에서 작다면, 즉 우도 함수가 평평하면 다음과 같이됩니다 :
이제 평평한 가능성은 우리에게 좋은 것이 아닙니다. 최대 값을 수치 적으로 찾는 것이 더 어려워지고, 최대 가능성은 주변의 다른 지점보다 우수하지 않습니다. 즉 모수 추정 오차가 높습니다.
κ≈f′′(x)≈Af(x)
그리고 다시, 우리는 여전히 곡률과 이차 미분 관계가 있습니다. 그러면 Fisher는 가능성 함수의 곡률을 보지 않은 이유는 무엇입니까? 나는 그것이 같은 편의 이유라고 생각합니다. 곱 대신 합계로 인해 로그 가능성을 조작하는 것이 더 쉽습니다. 그래서 그는 로그 우도의 2 차 미분을 분석함으로써 우도의 곡률을 연구 할 수있었습니다. 곡률 대한 방정식은 매우 단순 해 보이지만 실제로는 2 차 도함수보다 더 복잡한 2 차 도함수를 사용합니다.κmax=f′′(xmax)
업데이트 2 :
여기 데모가 있습니다. 나는 (완전히 구성된) 우도 함수, a) 곡률 및 b) 로그의 2 차 도함수를 그립니다. 왼쪽에는 좁은 가능성이 있으며 오른쪽에는 넓습니다. 최대 가능성의 시점에서 a)와 b)가 어떻게 수렴되는지를 알 수 있습니다. 더 중요한 것은 로그 가능성의 2 차 도함수를 조사하여 가능성 함수의 너비 (또는 평탄도)를 연구 할 수 있습니다. 필자가 앞서 언급 한 것처럼 후자는 분석하는 것보다 기술적으로 간단합니다.
놀랍게도 더 큰 로그 우도 신호의 2 차 미분은 최대 근방에서 더 평평한 우도 함수를 나타내며, 이는 더 큰 모수 추정 오차를 유발하기 때문에 바람직하지 않습니다.
플롯을 재현하려는 경우의 MATLAB 코드 :
f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);
h = 0.1;
x=-10:h:10;
% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])
% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])
업데이트 3 :
위의 코드에서 임의의 종 모양의 함수를 곡률 방정식에 꽂은 다음 로그의 두 번째 미분을 계산했습니다. 나는 스케일을 다시 조정하지 않았으며, 값은 앞에서 언급 한 동등성을 보여주기 위해 방정식에서 직선적입니다.
여기 Mathmatics의 가능성에 매우 첫 번째 논문은, 피셔는 "주파수 곡선 피팅에 대한 절대 기준에"대학에있는 동안 아직 간행 메신저, 41 : 155-160 (1912)
내가 계속 주장하면서 그는 엔트로피 및 다른 멋진 주제에 대한 로그 확률의 "더 깊은"연결에 대해서는 언급하지 않았지만 아직 정보 기준을 제공하지도 않습니다. 그는 간단히 p.54에 방정식 를 넣고 확률을 최대화하는 것에 대해 이야기합니다. 제 생각에 이것은 그가 로그를 공동 확률 자체를 분석하는 편리한 방법으로 사용하고 있음을 보여줍니다. 그가 P.55에 명백한 화학식을 제공하는 연속적인 곡선 피팅에 특히 유용하다 :
행운이 확률 분석 (또는 확률 당을 로그없이)!logP′=∑n1logp
logP=∫∞−∞logfdx
P
논문을 읽을 때 주목해야 할 한 가지는 최대 가능성 추정 작업으로 시작했으며 이후 10 년 동안 더 많은 작업을 수행했기 때문에 MLE이라는 용어조차도 아는 한 아직 만들어지지 않았습니다.