최근에는 두 기사를 읽었습니다. 첫 번째 는 상관의 역사에 관한 것이고 두 번째는 는 는 MIC (Maximal Information Coefficient)라는 새로운 방법에 관한 것입니다. 변수 간의 비선형 상관 관계를 추정하기 위해 MIC 방법을 이해하는 데 도움이 필요합니다. 또한 R에서의 사용 지침은 작성자 웹 사이트 ( Downloads 아래 ) 에서 찾을 수 …
두 세트의 XXX 와 YYY 있고 이러한 세트 대한 결합 확률 분포 가 있다고 가정 합니다 p(x,y)p(x,y)p(x,y). 하자 p(x)p(x)p(x) 와 p(y)p(y)p(y) 위에 한계 분포 나타내는 XXX 및 YYY 각각있다. XXX 와 사이의 상호 정보 YYY는 다음 과 같이 정의됩니다 : I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 즉, 이는 포인트 별 상호 정보 …
순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …
나는 한동안 상호 정보를 다루었습니다. 그러나 "상관 상관 관계"에서 분포 독립성을 측정하는 데 사용할 수있는 매우 최근의 측정법 (소위 상관 관계라고도 함) (브라우니 안 상관 관계라고도 함)을 찾았습니다. http://en.wikipedia.org/wiki/Brownian_covariance . 이 법안이 소개 된 논문을 확인했지만 상호 정보를 암시하지는 않았습니다. 그래서 내 질문은 : 그들은 정확히 같은 문제를 해결합니까? 그렇지 …
공분산 행렬의 고유 벡터를 볼 때 최대 분산의 방향을 얻습니다 (첫 번째 고유 벡터는 데이터가 가장 많이 변하는 방향 등입니다). 이를 주성분 분석 (PCA)이라고합니다. 상호 정보 매트릭스의 고유 벡터 / 값을 보는 것이 무엇을 의미하는지 궁금합니다. 최대 엔트로피 방향을 가리킬까요?
제목에 관해서는 연속 변수와 범주 변수 사이의 "상관 관계"( "B를 알고있을 때 A에 대해 얼마나 많이 알고 있는지"로 정의)를 추정하기 위해 MI 이후에 MI 이후에 상호 정보를 사용하는 것이 좋습니다. 잠시 후에이 문제에 대한 의견을 말씀 드리지만 , 유용한 정보가 포함 된 CrossValidated에 대한이 다른 질문 / 답변 을 읽어 …
관절 엔트로피를 통한 상호 정보는 다음과 같습니다. 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 "X에서 Y로 정보를 전달할 확률"? 순진한 것은 유감이지만 정보 이론을 연구 한 적이 없으며 그 개념을 이해하려고 노력하고 있습니다.
단어 포함을 생성하는 한 가지 방법은 다음과 같습니다 ( mirror ). 예를 들어 "나는 비행을 즐긴다. 나는 NLP를 좋아한다. 나는 딥 러닝을 좋아한다." 그것에서 단어 동시성 매트릭스를 빌드하십시오. XXX 에서 SVD를 수행 하고 U 의 첫 번째 kkk 열을 유지하십시오 . U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} 2 단계와 3 단계 사이에 포인트 상호 정보 …
여기서 "증거의 무게"(WOE)는 출판 된 과학 및 정책 결정 문헌에서 일반적으로 사용되는 용어로, 다음과 같이 정의 된 위험 평가와 관련하여 가장 자주 나타납니다. w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=logp(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} 여기서 증거이며, 가설이다.시간eeehhh 이제 PMI와의 주요 차이점 (포인트 별 상호 정보)을 알고 싶습니다. pmi(e,h)=logp(e,h)p(e)∗p(h)pmi(e,h)=logp(e,h)p(e)∗p(h)pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}
나는 비 통계 학자들이 회귀 (또는 동등하거나 밀접한 관련 통계 테스트)보다는 상호 정보를 사용하여 상관 측정을 재창조하는 것처럼 보이는 몇 가지 대화를 보았습니다. 통계 학자들이이 접근법을 사용하지 않는 좋은 이유가 있다고 생각합니다. 저의 평신도의 이해는 엔트로피 / 상호 정보 추정자가 문제가 있고 불안정한 경향이 있다는 것입니다. 결과적으로 전력도 문제가 있다고 …
약간 혼란 스러워요. 이진 용어 발생을 가중치로 사용하는 용어 문서 행렬을 기반으로 두 용어 사이의 상호 정보를 계산하는 방법을 누군가에게 설명 할 수 있습니까? D o c u m e n t 1D o c u m e n t 2D o c u m e n t 3'여시간 Y'111'H오 …
이 강의 노트 (5 페이지)에 설명 된대로 상호 정보 개념을 기능 선택에 적용하려고합니다 . 내 플랫폼은 Matlab입니다. 경험적 데이터에서 상호 정보를 계산할 때 발견되는 한 가지 문제는 숫자가 항상 위쪽으로 편향되어 있다는 것입니다. Matlab Central에서 MI를 계산하기 위해 약 3 ~ 4 개의 다른 파일을 찾았으며 독립적 인 무작위 변수를 …