두 히스토그램의 유사성을 평가하는 방법은 무엇입니까?

두 개의 히스토그램이 주어지면 비슷한 지 아닌지를 어떻게 평가합니까?

단순히 두 히스토그램을 보는 것으로 충분합니까? 간단한 일대일 매핑은 히스토그램이 약간 다르고 약간 이동하면 원하는 결과를 얻지 못한다는 문제가 있습니다.

어떤 제안?

읽을 가치가있는 최신 논문은 다음과 같습니다.

Cao, Y. Petzold, L. 화학 반응 시스템의 확률 론적 시뮬레이션에서 정확도 한계 및 오차 측정, 2006.

이 백서의 초점은 확률 적 시뮬레이션 알고리즘을 비교하는 데 중점을두고 있지만 본질적으로 두 가지 히스토그램을 비교하는 방법이 주요 아이디어입니다.

작성자의 웹 페이지에서 pdf에 액세스 할 수 있습니다 .

두 히스토그램 사이에는 많은 거리 측정이 있습니다. 다음과 같은 방법으로 이러한 측정 값을 잘 분류 할 수 있습니다.

K. Meshgi 및 S. Ishii, "추적 정확도를 높이기 위해 그리드를 사용하여 색상의 히스토그램 확장", Proc. 2015 년 5 월 일본 도쿄 MVA'15

가장 인기있는 거리 기능은 다음과 같습니다.

• $L_0$　또는 Hellinger 거리

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$ , Manhattan 또는 City Block Distance

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$ 또는 유클리드 거리

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• L 또는 Chybyshev 거리$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• L 또는 분수 거리 (Minkowski 거리 제품군의 일부)$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$ 및$0<p<1$

• 히스토그램 교차

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• 코사인 거리

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• 캔버라 거리

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• 피어슨의 상관 계수

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• Kolmogorov-Smirnov Divergance

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• 경기 거리

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• 크 래머 폰 미제스 거리

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$ 통계

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• 바타 카리 야 거리

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$ & 헬 링거

• 제곱 화음

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• 쿨백-라이 블러 분기

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• 제 퍼리 이산

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• Earth Mover 's Distance (지구 이동 거리) (비닝 정보 를 거리에 포함시키는 교통 거리의 첫 번째 구성원입니다. 자세한 내용은 위에서 언급 한 백서 또는 Wikipedia 항목을 참조하십시오 .$A$

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$ 및 에서 유동 나타내는 에$f_{ij}$$i$$j$

• 이차 거리

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• 이차 치 거리

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$ 및$\frac{0}{0} \equiv 0$

이 거리 중 일부의 Matlab 구현은 내 GitHub 저장소에서 사용할 수 있습니다 : https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance 또한 당신은 Yossi Rubner, Ofir Pele, Marco Cuturi 및 Haibin Ling과 같은 사람을 검색 할 수 있습니다 최첨단 거리.

업데이트 : 거리에 대한 대안 설명이 여기 저기 문헌에 나와 있으므로 완전성을 위해 여기에 나열합니다.

• 캔버라 거리 (다른 버전)

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• Bray-Curtis 비 유사성, Sorensen 거리 (히스토그램의 합이 1이므로 과 동일 )$D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• Jaccard 거리 (즉, 조합 교차점, 다른 버전)

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

이 질문에 대한 표준 답변은 카이 제곱 테스트 입니다. KS 테스트는 비닝 된 데이터가 아닌 비닝 된 데이터에 대한 것입니다. 바인드 해제 된 데이터가있는 경우 반드시 KS 스타일 테스트를 사용하지만 히스토그램 만있는 경우 KS 테스트는 적합하지 않습니다.

당신은 Kolmogorov-Smirnov 테스트를 찾고 있습니다. 막대 높이를 각 히스토그램의 모든 관측치의 합계로 나누는 것을 잊지 마십시오.

KS- 검정은 또한 분포의 평균이 서로에 대해 이동되는 경우 차이를보고합니다. 응용 프로그램에서 x 축을 따라 히스토그램의 변환이 의미가없는 경우 먼저 각 히스토그램에서 평균을 빼고 싶을 수 있습니다.

David의 답변에서 알 수 있듯이 KS 검정이 연속 분포를 가정하므로 구간 화 된 데이터에 카이 제곱 검정이 필요합니다. KS 테스트가 부적절한 이유 (naught101의 의견)와 관련하여, 여기에서 제기 할 가치가있는 응용 통계 문헌에서이 문제에 대한 논의가있었습니다.

자연 신문의 3 분의 1에 통계적 오류 가 있다고 주장하는 흥미로운 교환이 시작되었다 ( Garcia-Berthou and Alcaraz, 2004 ). 그러나 후속 논문 ( Jeng, 2006 , " 통계 테스트 오류 통계 테스트 오류 "-아마도 내가 가장 좋아하는 논문 제목)은 Garcia-Berthou와 Alcaraz (2005)가 개별 데이터에 대해 KS 테스트를 사용하여 메타 연구에서 부정확 한 p- 값을보고합니다. Jeng (2006) 백서는이 문제에 대한 훌륭한 토론을 제공하며 개별 데이터를 처리하기 위해 KS 테스트를 수정할 수 있음을 보여줍니다. 이 특정 경우에, 구별은 [0,9], 에서 후행 자릿수의 균일 한 분포 사이의 차이로 요약됩니다. P(x)=

$$P(x) = \frac{1}{9},\ (0 \leq x \leq 9)$$ (잘못된 KS 테스트에서) 및 델타 함수의 콤 분포, (올 바르고 수정 된 형식) . 원래 오류의 결과로 Garcia-Berthou와 Alcaraz (2004)는 null을 잘못 거부했지만 카이 제곱 및 수정 된 KS 테스트는 그렇지 않았습니다. 어쨌든 KS를 여기에서 작동하도록 수정할 수 있더라도 카이 제곱 테스트가이 시나리오의 표준 선택입니다. $$P(x) = \frac{1}{10}\sum_{j=0}^9 \delta(x-j)$$

두 히스토그램 간의 상호 상관 (컨볼 루션)을 계산할 수 있습니다. 그것은 약간의 traslation을 고려할 것입니다.