«information» 태그된 질문

2 차원 이진 행렬의 엔트로피 / 정보 밀도 / 패턴 유사성을 측정하고 싶습니다. 설명을 위해 몇 가지 그림을 보여 드리겠습니다. 이 디스플레이는 다소 높은 엔트로피를 가져야합니다. 에이) 중간 엔트로피가 있어야합니다. 비) 마지막으로이 그림들은 모두 0에 가까운 엔트로피를 가져야합니다. 씨) 디) 이자형) 엔트로피를 포착하는 인덱스가 있습니까? 이 디스플레이의 "패턴 모양"? 물론, …

53 algorithms  binary-data  entropy  pattern-recognition  information 

관심이 단순히 모델의 매개 변수 (포인트 및 / 또는 간격 추정)를 추정하고 사전 정보가 신뢰할 수없고 약하지 않은 경우 (이는 약간 모호하지만 알고있는 시나리오를 설정하려고합니다. 이전이 어렵다) ... 왜 누군가가 전통적인 접근 방식 대신 '비 정보 적'부적절한 선행과 함께 베이지안 접근 방식을 사용하려고합니까?

44 bayesian  inference  prior  likelihood  information 

다음과 같은 계층 적 모델을 고려하면 및 여기서 정규 분포입니다. 의 한계 분포의 피셔 정보에 대한 정확한 표현을 얻을 수있는 방법이 있습니까 주어진 . 즉,의 피셔 정보 무엇인가 난의 여백 분포에 대한 식을 얻을 수있는 주어진 , 그러나 wrt 차별화 하고 기대를 취하는 것은 매우 어려운 것 같습니다. 나는 분명한 …

20 multilevel-analysis  information  fisher-information 

나는 약하게 일관된 최대 가능성 추정기 (MLE)에서 평가 된 관측 된 정보 매트릭스가 기대되는 정보 매트릭스의 약하게 일관된 추정기임을 증명하려고 노력하고있다. 이것은 널리 인용 된 결과이지만 아무도 참조 또는 증거를 제공하지 않습니다 (Google 결과의 첫 20 페이지와 통계 교과서가 소진되었다고 생각합니다)! 약하게 일관된 MLE 시퀀스를 사용하면 약한 수의 법칙 (WLLN)과 …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

제목에서 알 수 있듯이 치수 축소는 항상 일부 정보가 손실됩니까? 예를 들어 PCA를 고려하십시오. 내가 가진 데이터가 매우 드문 경우 "더 나은 인코딩"을 찾을 수 있다고 가정하고 (어쨌든 데이터의 순위와 관련이 있습니까?) 손실되지 않습니다.

10 pca  information-theory  information