«fisher-information» 태그된 질문

Fisher 정보, 그것이 무엇을 측정하고 어떻게 도움이되는지 편안하지 않습니다. 또한 Cramer-Rao와의 관계는 나에게 명백하지 않습니다. 누군가 이러한 개념에 대해 직관적으로 설명해 주시겠습니까?

59 estimation  intuition  fisher-information 

좋아, 이것은 매우 기본적인 질문이지만 조금 혼란 스럽습니다. 내 논문에서 나는 다음과 같이 쓴다. 표준 오차는 (관측 된) 피셔 정보 매트릭스의 대각선 요소의 제곱근의 역수를 계산하여 찾을 수 있습니다. sμ^,σ^2=1I(μ^,σ^2)−−−−−−√sμ^,σ^2=1I(μ^,σ^2)\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*} R의 최적화 명령이 최소화하기 때문에 Hessian의 역수를 계산하여 (관측 된) Fisher 정보 매트릭스를 찾을 수 있습니다. −logL−log⁡L-\log\mathcal{L}I(μ^,σ^2)=H−1I(μ^,σ^2)=H−1\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} …

54 maximum-likelihood  fisher-information 

랜덤 변수 X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) 가 있다고 가정 해 봅시다 . 경우 θ0θ0\theta_0 실제 파라미터 있었다 상기 우도 함수를 최대화 제로 유도체 같아야한다. 이것이 최대 가능성 추정기의 기본 원리입니다. 내가 알기로 Fisher 정보는 다음과 같이 정의됩니다. I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] 따라서 θ0θ0\theta_0 이 참 매개 변수이면 I(θ)=0I(θ)=0I(\theta) …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

누군가 순수하게 수학적으로 엄격한 방식으로 Fisher 정보 지표와 상대 엔트로피 (또는 KL 분기) 사이의 다음 연결을 증명할 수 있습니까 ? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) 여기서 a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log …

20 mathematical-statistics  kullback-leibler  fisher-information 

다음과 같은 계층 적 모델을 고려하면 및 여기서 정규 분포입니다. 의 한계 분포의 피셔 정보에 대한 정확한 표현을 얻을 수있는 방법이 있습니까 주어진 . 즉,의 피셔 정보 무엇인가 난의 여백 분포에 대한 식을 얻을 수있는 주어진 , 그러나 wrt 차별화 하고 기대를 취하는 것은 매우 어려운 것 같습니다. 나는 분명한 …

20 multilevel-analysis  information  fisher-information 

보자 . Fisher 정보 매트릭스는 다음과 같이 정의됩니다.θ ∈ R엔θ∈Rn\theta \in R^{n} 나는( θ )I , J= − E[ ∂2로그( f( X| θ))∂θ나는∂θ제이∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Fisher Information Matrix가 양의 반올림임을 어떻게 증명할 수 있습니까?

18 inference  linear-algebra  fisher-information 

2 주 전에 여기에했던 질문에 대한 "답변"을 다시 게시하고 있습니다. 왜 Jeffreys가 이전에 유용합니까? 그것은 실제로 질문이었습니다 (그리고 당시에 의견을 게시 할 권리도 없었습니다). 그래서 나는 이것을 할 수 있기를 바랍니다. 위의 링크에서 Jeffreys의 흥미로운 특징은 모델을 다시 매개 변수화 할 때 결과로 발생하는 후방 분포가 변형에 의해 부과 된 …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

표준 최대 우도 설정 (iid 샘플 은 밀도 f y ( y | θ)Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} 과 정확하게 지정된 모델의 경우에 피셔 정보가 주어진다))fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] 데이터를 생성 한 실제 밀도와 관련하여 기대되는 부분. 관찰 된 Fisher 정보를 읽었습니다. J^(θ)=−∂2θ2lnfy(θ)J^(θ)=−∂2θ2ln⁡fy(θ)\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) (예상) 피셔 정보 계산에 …

17 maximum-likelihood  fisher-information 

나는 약하게 일관된 최대 가능성 추정기 (MLE)에서 평가 된 관측 된 정보 매트릭스가 기대되는 정보 매트릭스의 약하게 일관된 추정기임을 증명하려고 노력하고있다. 이것은 널리 인용 된 결과이지만 아무도 참조 또는 증거를 제공하지 않습니다 (Google 결과의 첫 20 페이지와 통계 교과서가 소진되었다고 생각합니다)! 약하게 일관된 MLE 시퀀스를 사용하면 약한 수의 법칙 (WLLN)과 …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

다른 교과서는 피셔 정보 매트릭스의 존재에 대한 다른 조건을 인용합니다. 이러한 여러 조건이 아래에 나열되어 있으며 각 조건은 "피셔 정보 매트릭스"의 정의 중 일부에 표시됩니다. 표준적인 최소 조건 세트가 있습니까? 아래 5 가지 조건 중 어느 것을 제거 할 수 있습니까? 조건 중 하나를 제거 할 수 있다면 왜 처음에 …

13 fisher-information 

(나는 math.se에 비슷한 질문을 게시했습니다 .) 정보 지오메트리에서 Fisher 정보 매트릭스의 결정 요인은 통계적 매니 폴드의 자연스러운 체적 형태이므로 멋진 기하학적 해석이 가능합니다. 예를 들어, 제프리스의 정의에 나타난 사실은 (재호) 기하 적 속성 인 재 파라미터 화에 따른 차이와 관련이있다. 그러나 통계 에서 그 결정 요인은 무엇 입니까? 의미있는 것을 …

12 variance  information-theory  fisher-information  information-geometry 

매개 변수가 (성공 가능성) 인 Bernoulli 랜덤 변수 을 고려하십시오 . 우도 함수 및 Fisher 정보 ( 행렬)는 다음과 같습니다.X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} 이제 성공 확률 θ1θ1\theta_1 과 실패 확률 \ theta_0 의 두 매개 변수를 …

10 bernoulli-distribution  parameterization  fisher-information  determinant 

예 : 직업 설명에 "영국의 Java Senior Engineer"문장이 있습니다. 나는 2 개 종류로 예측하는 깊은 학습 모델을 사용하려면 : English 와 IT jobs. 기존 분류 모델을 사용하는 경우 softmax마지막 레이어에서 함수가있는 레이블 하나만 예측할 수 있습니다 . 따라서 두 모델 신경망을 사용하여 두 범주 모두에서 "예"/ "아니오"를 예측할 수 있지만 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Y. Pawitan의 "모두 가능성 : 통계 모델링 및 가능성을 사용한 추론"에서 다시 매개 변수화 가능성 θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psi 로 정의된다 L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ) L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta) 가 일대일 인 경우 L ^ * (\ psi) = L (g ^ {-1} (\ psi)) (p. 45)입니다. \ theta 가 스칼라 라면 ( g 도 스칼라 함수라고 …

9 mathematical-statistics  inference  likelihood  fisher-information