2 차원 이진 행렬의 엔트로피 / 정보 밀도 / 패턴 유사성을 측정하고 싶습니다. 설명을 위해 몇 가지 그림을 보여 드리겠습니다. 이 디스플레이는 다소 높은 엔트로피를 가져야합니다. 에이) 중간 엔트로피가 있어야합니다. 비) 마지막으로이 그림들은 모두 0에 가까운 엔트로피를 가져야합니다. 씨) 디) 이자형) 엔트로피를 포착하는 인덱스가 있습니까? 이 디스플레이의 "패턴 모양"? 물론, …
나는 평신도 용어의 의미에 대해 여기에 몇 가지 질문을 보았지만 이것들은 내 목적으로는 너무 평신도입니다. AIC 점수가 무엇을 의미하는지 수학적으로 이해하려고합니다. 그러나 동시에, 나는 더 중요한 요점을 보지 못하게하는 엄격한 증거를 원하지 않습니다. 예를 들어, 이것이 미적분학이라면, 나는 무한대에 만족할 것이고, 이것이 확률 이론이라면 측정 이론 없이도 행복 할 것입니다. …
엔트로피 에 대해 읽고 있으며 연속 사례에서 의미하는 바를 개념화하는 데 어려움을 겪고 있습니다. 위키 페이지는 다음을 나타냅니다. 모든 이벤트의 정보량과 결합 된 이벤트의 확률 분포는 예상 값이이 분포에 의해 생성 된 평균 정보량 또는 엔트로피 인 랜덤 변수를 형성합니다. 연속적인 확률 분포와 관련된 엔트로피를 계산하면 실제로 무엇을 알 수 …
엔트로피는 프로세스 / 변수의 임의성 측정 기준이며 다음과 같이 정의 할 수 있습니다. 랜덤 변수 세트 :X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . MacKay의 Entropy and Information Theory에 관한 책에서 그는 Ch2에서이 진술을 제공합니다. p가 균일하면 엔트로피가 최대화됩니다. 직관적으로, 세트 모든 데이터 포인트 가 동일한 확률 ( 은 …
에서 본 논문 , 재능있는 연구원 코스 마 샤 리치는 완전히 주관적인 베이지안보기를 수락하려면, 하나의도 (엔트로피의 흐름에 의해 주어진) 시간의 화살표가 실제로 이동해야한다는 비 물리적 결과를 수용해야한다고 주장 뒤쪽을 . 이것은 주로 ET Jaynes 가 제시하고 대중화 한 최대 엔트로피 / 완전히 주관적인 베이지안 견해에 맞서기위한 시도 입니다. 이상에서 LessWrong …
Cross Validated의 많은 트롤링 후에도 여전히 정보 이론의 영역 밖에서 KL 분기를 이해하는 것에 더 가깝다고 느끼지 않습니다. 정보 이론 설명을 이해하기가 훨씬 쉬운 수학 배경을 가진 사람에게는 다소 이상합니다. 정보 이론 배경에서 내 이해를 간략하게 설명하려면 : 한정된 수의 결과를 갖는 임의의 변수가있는 경우 평균적으로 가장 짧은 메시지를 가지고 …
다양한 환경에서 여러 분포의 사용을 정당화하기 위해 최대 엔트로피의 원리를 사용했습니다. 그러나, 나는 최대 엔트로피의 정보 이론적 해석과는 반대로 통계를 공식화 할 수 없었다. 즉, 엔트로피를 최대화하면 분포의 통계적 특성에 대해 무엇을 의미합니까? 누구든지 건너 뛰거나 아마도 최대의 통계적 해석을 발견했습니다. 정보에 호소하지 않고 확률 론적 개념에만 호응하는 엔트로피 분포? …
나는 통계학자가 아니고 (수학적 통계 과정을 밟았지만 그 이상은 아닙니다) 최근에는 정보 이론과 통계 역학을 공부하면서 "불확실성 측정"/ "엔트로피"라는 것을 만났습니다. 나는 불확실성의 척도로 진친의 유래를 읽었고 그것은 나에게 의미가 있었다. 만든 의미가 하나 개 이상의 기능의 산술 평균을 알고있을 때 통계를 얻을 수 MaxEnt의 제인스 설명했다 또 다른 것은 …
이미지의 엔트로피를 계산하는 가장 정보 / 물리 이론상 올바른 방법은 무엇입니까? 나는 지금 계산 효율성에 관심이 없다. 나는 이론적으로 가능한 한 그것을 원한다. 회색조 이미지로 시작할 수 있습니다. 직관적 인 접근 방법 중 하나는 이미지를 픽셀 백으로 간주하고 여기서H=−∑kpklog2(pk)H=−∑kpklog2(pk) H = - \sum_k p_k log_2(p_k) KKK is the number of …
공동으로 전형적인 세트의 정의 ( "정보 요소의 요소", 7.6, p. 195)에서 우리는 −1nlogp(xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} 은 의 시퀀스 의 경험적 엔트로피 로 . 나는이 용어를 전에 본 적이 없다. 책의 색인에 따라 명시 적으로 정의되어 있지 않습니다.p ( x n ) = ∏ n i = 1 p ( x i …
두 세트의 XXX 와 YYY 있고 이러한 세트 대한 결합 확률 분포 가 있다고 가정 합니다 p(x,y)p(x,y)p(x,y). 하자 p(x)p(x)p(x) 와 p(y)p(y)p(y) 위에 한계 분포 나타내는 XXX 및 YYY 각각있다. XXX 와 사이의 상호 정보 YYY는 다음 과 같이 정의됩니다 : I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 즉, 이는 포인트 별 상호 정보 …
Breiman의 임의 포리스트 (R randomForest 패키지의 임의 포리스트)가 분할 기준 (속성 선택 기준) 정보 획득 또는 Gini 인덱스로 사용되는지 알고 싶습니다. http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm 및 R의 randomForest 패키지에 대한 설명서에서 찾아 보았습니다 . 그러나 찾은 유일한 것은 Gini 인덱스를 사용할 수 있다는 것입니다. 가변 중요도 컴퓨팅.
순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …