정보 지오메트리를 사용하여 거리와 부피를 정의하는 것… 유용합니까?

13

저는 확률 분포 공간에서 Fisher의 정보 지표를 자연 지역 지표로 사용하고이를 통합하여 거리와 부피를 정의하는 것을 옹호 하는 많은 문헌을 발견했습니다.

그러나 이러한 "통합 된"수량이 실제로 무엇에 유용합니까? 나는 이론적 인 정당화와 실제 적용이 거의 없음을 발견했다. 하나는 가이 레바논의 작품 으로 "피셔 거리"를 사용하여 문서를 분류하고 다른 하나는 로드리게스 ABC 모델 선택 ... "피셔 볼륨"이 모델 선택에 사용됩니다. 분명히 "정보량"을 사용하면 모델 선택을 위해 AIC 및 BIC에 비해 "수십 배"개선이 이루어 지지만 그 작업에 대한 후속 조치는 보지 못했습니다.

이론적 근거는이 거리 또는 부피 측정을 사용하고 MDL 또는 점근 적 주장에서 도출 된 범위보다 더 나은 일반화 경계를 갖거나 합리적으로 실제적인 상황에서 아마도 더 나은 이들 양 중 하나에 의존하는 방법 일 수 있습니다. 이런 종류의 결과가 있습니까?

model-selection information-geometry

— 야로슬라프 불라 토프
소스

Fisher의 정보는 모수 추정에서 하한을 제공합니다. "이 방향으로 내 문제의 어려움을 그 이상으로 줄일 수 없습니다"와 같은 것을 대략적으로 말하고 있기 때문에 그것은 자연적인 척도입니다. 당신이 일반화 경계라고 부르는 것은 상한입니까? Fisher 지표를 사용하는 방법의 수행 능력을 알고 싶습니까 (큰 몸이 좋은 목록입니다)? 미안하지만 나는 정말로 질문을 얻지 못한다. :) 당신은 그 점을 재구성 할 수 있습니까?

— 로빈 지라드

Fisher의 정보 매트릭스가 리만 측정법을 제공한다고 가정 해 보겠습니다. 그것은 우리가 통합함으로써 어떤 곡선의 호 길이를 찾을 수있게합니다. 그런 다음 p와 q 사이의 거리를 p와 q를 연결하는 모든 곡선에서 가장 작은 호 길이로 정의하십시오. 이것이 내가 요구하는 거리 측정입니다. 볼륨과 동일합니다.

— Yaroslav Bulatov

1

예를 들어, 로드리게스는 모델 복잡성의 척도로 "정보량"을 사용하여 크게 개선되었지만 놀랍게도 다른 사람은 이것을 시도하지 못합니다.

— Yaroslav Bulatov

5

지난 주 Royal 통계 협회 (Royal Statistical Society)에서 Riemann 매니 폴드에 대한 MCMC 기술에 대한 주요 보고서가 주로 Fisher 정보 메트릭을 사용하여 읽었습니다 .

저자가 지적한 바와 같이, 많은 관심 모델 (예 : 혼합 모델)에서 Fisher 정보는 분석 형식이 아닙니다.

— 사이먼 번
소스

1

"Riemann manifold Langevin"용지입니까? 특정 시점에서 Fisher 정보를 통합합니까?

— Yaroslav Bulatov

4

가장 잘 알려진 주장은 변형을 조정하는 데 불변 인 피셔 메트릭을 사용하여 정보가없는 사전 (Jeffreys prior)을 공식화 할 수 있다는 것입니다. 잘 모르겠어요!

덜 알려진 것은 때때로, 이러한 "통합 된 수량"이 분기되는 것으로 밝혀지고, 피셔 거리가 일반화 된 분기 세트 (및 그 특성)를 생성한다고 주장 할 수있다.

그러나 여전히 피셔 정보와 생성되는 수량에 대한 직관적 인 설명을 찾지 못했습니다. 하나 찾으면 알려주십시오.

— 루카스
소스

피셔 정보에 대해 많은 것들이 알려져 있는데, 확실하지 않은 피셔 정보의 필수 요소입니다. 피셔 정보가 통합에 대해 알려진 차이점으로 바뀌는 것에 대해 잘 모르겠습니다.

— Yaroslav Bulatov

4

"추적"이없는 이유는 몇 년 전이 문제에 대한 로드리게스의 작업을 이해하는 사람이 거의 없기 때문입니다. 중요한 것들이며 앞으로 더 많은 것을 보게 될 것입니다.

그러나, 일부는 피셔 메트릭이 단지 2 차 실제 메트릭 (예로 근사임을 주장 엔트로피 전과 확립에 노이만의 용지 의 Zellner의 제형되는 리드 실제 (또는 일반화) 쿨백 - Liebler 거리로 정의 됨) 및 MDI 이전.

— 남자 이름
소스