피셔 커널 너머

한동안 피셔 커널은 확률 모델에서 커널을 구성하는 방법 인 것처럼 보였기 때문에 인기가있는 것처럼 보였습니다. 그러나 나는 그들이 실제로 사용되는 것을 거의 보지 못했고, 그들이 잘 작동하지 않는 좋은 권위를 가지고 있습니다. 그들은 Wikipedia를 인용 하여 Fisher 정보 의 계산에 의존합니다 .

피셔 정보는 f의 자연 로그의 θ에 대한 2 차 도함수의 기대 값과 반대입니다. 정보는 θ의 최대 우도 추정치 (MLE) 근처의지지 곡선의 "곡률"의 척도 인 것으로 보일 수있다.

내가 알 수있는 한 두 점 사이의 커널 기능 이이 곡면을 따르는 거리라는 것을 의미합니다.

그러나 이것은 커널 메소드에서 사용하기에 문제가 될 수 있습니다.

1. MLE은 주어진 모델에 대해 매우 나쁜 추정 일 수 있습니다
2. MLE 주변의지지 곡선의 곡률은 예를 들어 우도 표면이 매우 정점 인 경우를 구별하는 데 사용되지 않을 수 있습니다.
3. 이것은 모델에 대한 많은 정보를 버리는 것 같습니다

이 경우 확률 적 방법으로 커널을 구성하는 더 현대적인 방법이 있습니까? 예를 들어, 동일한 방식으로 MAP 추정치를 사용하기 위해 홀드 아웃 세트를 사용할 수 있습니까? (유효한) 커널 함수를 구성하기 위해 확률 적 방법과 다른 거리 또는 유사성에 대한 개념은 무엇입니까?

제기 한 세 가지 문제에 대해 귀하는 옳으며 귀하의 해석은 정확합니다.

사람들은 확률 모델에서 커널을 만들기 위해 다른 방향을 살펴 보았습니다.

• Moreno et al. 이 문제를 읽을 때 Mercer의 조건을 만족시킬 때 Kullback-Leibler를 제안해도이 문제를 다시 읽었을 때 잘 이해하지 못했습니다.

• Jebara et al. 분배 공간에 내부 제품을 제안합니다. 이 종이는 당신이 쫓아 온 것과 비슷하게 들립니다 . 여기에서 다운로드 할 수 있습니다 .

나는 그것들을 얼마 전에 읽었지만 (2008), 그 지역이 지난 몇 년간 어떻게 진화했는지 확신 할 수 없다.

그렇게하는 비 확률적인 방법도 있습니다. 생물 정보학 분야의 사람들은 문자열 등에서 동적 프로그래밍 유형의 것을 살펴 보았습니다. 이러한 것들이 항상 PSD는 아니며 자체 문제가 있습니다.