표준 편차가 0 일 가능성이있는 데이터 세트의 Pearson 상관 관계

가능한 표준 편차가 0 인 데이터 세트의 피어슨 상관 계수를 계산하는 데 문제가 있습니다 (즉, 모든 데이터의 값이 동일 함).

다음 두 데이터 세트가 있다고 가정하십시오.

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

상관 계수 "r"은 다음 방정식을 사용하여 계산됩니다.

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

그러나 데이터 세트 "y"의 모든 데이터가 동일한 값을 가지므로 표준 편차 std_dev (y)는 0이되고 "r"은 정의되지 않습니다.

이 문제에 대한 해결책이 있습니까? 아니면이 경우 데이터 관계를 측정하기 위해 다른 방법을 사용해야합니까?

"샘플링 이론"사람들은 그러한 추정치가 존재하지 않는다고 말할 것입니다. 그러나 당신은 하나를 얻을 수 있고, 당신은 당신의 이전 정보에 대해 합리적이어야하며, 훨씬 더 어려운 수학적 작업을해야합니다.

베이지안 추정 방법을 지정하고 사후가 이전과 동일하면 데이터에 매개 변수에 대해 아무 것도 말하지 않는다고 말할 수 있습니다. 일이 우리에게 "단일"될 수 있기 때문에 무한 매개 변수 공간을 사용할 수 없습니다. Pearson 상관 관계를 사용하기 때문에 이변 량 정규 가능성이 있다고 가정합니다.

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ 여기서 $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

이제 하나의 데이터 세트가 동일한 값일 수 있음을 나타 내기 위해 다음과 같이됩니다.$y_i=y$

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ 여기서 $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

따라서 가능성은 네 가지 숫자에 따라 다릅니다 . 따라서 의 추정치가 필요하므로 이전에 곱하고 방해 매개 변수 합니다. 이제 통합을 준비하기 위해 "사각형 완성" $s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

이제 우리는주의를 기울여야하고 제대로 정규화 된 확률을 보장해야합니다. 그렇게하면 문제가 발생하지 않습니다. 그러한 옵션 중 하나는 약한 유익한 사전을 사용하는 것입니다. 따라서 이 평평한 수단의 경우 의 표준 편차에 대한 이전. 이러한 한계는 문제에 대한 약간의 상식적인 생각으로 쉽게 설정할 수 있습니다. 대해 지정되지 않은 사전을 취하여 의 특이점을 자르지 않으면 균일하게 작동합니다 .$L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

여기서 입니다. 이것은 다음의 후부를 제공합니다.$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

이제 변수 변경하여 대한 첫 번째 통합을 수행 할 수 있습니다. 상기 제 적분 위에 된다 :$\mu_y$$z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$$\mu_y$

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

여기에서 볼 수 있듯이 분석 솔루션은 불가능합니다. 그러나 값 이 방정식에서 빠지지 않았다는 점도 주목할 가치가 있습니다 . 이는 데이터와 사전 정보가 여전히 실제 상관 관계에 대해 말할 내용이 있음을 의미합니다. 데이터의 상관 관계에 대해 아무 말도하지 않으면, 우리는 단순히 남아있을 것입니다 의 유일한 기능으로 이 방정식이다.$\rho$$p(\rho)$$\rho$

또한 대한 무한 한계의 한계로 는 것은 복잡해 보이는 정상적인 CDF 함수 인 포함 된 에 대한 일부 정보를 "버릴" 방법을 보여줍니다 . 이제 데이터가 많으면 한계에 도달하는 것이 좋지만 많이 풀지는 않지만 귀하의 경우와 같이 정보가 매우 부족한 경우 모든 스크랩을 유지하는 것이 중요합니다. 그것은 못생긴 수학을 의미하지만이 예제는 수치 적으로하기가 너무 어렵지 않습니다. 따라서 값에서 에 대한 적분 가능성을 상당히 쉽게 수 있습니다. 작은 간격으로 적분으로 적분을 교체하기 만하면 트리플 합산$\mu_y$$\rho$$\Phi(.)$$\rho$$-0.99,-0.98,\dots,0.98,0.99$

이 경우 상관 관계가 정의되지 않았다는 sesqu에 동의합니다. 애플리케이션 유형에 따라 두 벡터 간의 Gower 유사성을 계산할 수 있습니다. 여기서 는 에 함수로 적용되는 kronecker- 나타냅니다 . δv1,v$gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$$\delta$$v1,v2$

예를 들어 모든 값이 같으면 gower (.,.) = 1입니다. 반면에 한 차원에서만 다르면 gower (.,.) = 0.9입니다. 치수가 다르면 gower (.,.) = 0 등입니다.

물론 이것은 상관 관계에 대한 측정은 아니지만 s> 0을 가진 벡터가 s = 0을 가진 벡터에 얼마나 가까운 지 계산할 수 있습니다. 물론 다른 측정 항목이 목적을 더 잘 충족시키는 경우에도 적용 할 수 있습니다.

이 경우 상관 관계가 정의되지 않습니다. 정의 해야하는 경우 0으로 정의하지만 간단한 평균 절대 차이를 대신 고려하십시오.

이 질문은 프로그래머들로부터 나왔으므로 0을 연결하는 것이 좋습니다. 상관 관계에 대한 증거는 없으며 귀무 가설은 0이됩니다 (상관 관계 없음). 한 컨텍스트에서 "일반적인"상관 관계를 제공하는 다른 컨텍스트 지식이있을 수 있지만 코드는 다른 컨텍스트에서 재사용 될 수 있습니다.