랜덤 워크는 왜 서로 관련이 있습니까?

평균적으로 Pearson 상관 계수의 절대 값은 보행 길이에 관계없이 독립적 인 임의의 보행 쌍에 대해 일정한 상수라는 것을 관찰했습니다 .0.560.42

누군가이 현상을 설명 할 수 있습니까?

임의의 시퀀스와 같이 보행 길이가 길어질수록 상관 관계가 더 작아 질 것으로 예상했습니다.

내 실험에서는 스텝 평균 0과 스텝 표준 편차 1을 갖는 임의 가우스 워크를 사용했습니다.

최신 정보:

데이터를 중앙에 배치하는 것을 잊었 기 때문에 0.56대신 데이터를 사용했습니다 0.42.

상관 관계를 계산하는 Python 스크립트는 다음과 같습니다.

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

독립적 인 프로세스는 서로 관련이 없습니다! X t 인 경우$X_t$ 와 독립적 인 무작위 행보은 다음과 같습니다 :$Y_t$

• 무조건 상관 계수가 존재하지 않습니다. ( 코르 에 대해 이야기하지 마십시오.)$\operatorname{Corr}(X, Y)$
• 언제든지 , Corr ( X $t$ 는 실제로 0이다.$\operatorname{Corr}(X_t, Y_t)$
• 그러나 시계열 평균을 기반으로 한 샘플 통계 는 아무 것도 수렴되지 않습니다! 시간에 따른 여러 관측치의 평균을 기반으로 계산 한 샘플 상관 계수 는 의미가 없습니다.

직관적으로 다음과 같이 추측 할 수 있습니다.

1. 두 프로세스 와 { Y t } 사이의 독립성은 상관 관계가 없음을 의미합니다. (두 번의 무작위 보행의 경우 Corr ( $\{X_t\}$$\{Y_t\}$ 는 존재하지 않습니다.)$\operatorname{Corr}(X, Y)$
2. 시계열 샘플 상관 관계 ρ X Y 즉 시계열 같은 샘플 통계 계산 상관 계수 ( ^ μ X = 1$\hat{\rho}_{XY}$)는 모집단 상관 계수ρXY에T→∞로수렴합니다.$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

문제는 이 문장들 중 어느 것도 무작위 보행에 맞지 않다는 것 입니다! (더 나은 동작 프로세스에 해당됩니다.)

고정식 프로세스의 경우 :

• 두 가지 특정 시점에서 프로세스 와 { Y t } 의 상관 관계에 대해 이야기 할 수 있습니다 (예 : Corr ( X 2 , Y 3 ) 는 완벽하게 합리적인 진술입니다.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• 그러나 무조건 두 시리즈 간의 상관 관계에 대해 이야기하는 것은 이치에 맞지 않습니다! 에는 잘 정의 된 의미가 없습니다.$\operatorname{Corr}(X, Y)$

무작위 보행의 문제?

1. 무작위 보행의 경우, E [ X ] 와 같은 무조건 집단 모멘트 (즉 , 시간 의존 하지 않음)는 존재하지 않습니다. (어느 정도 느슨한 의미에서는 무한대입니다.) 마찬가지로, 무조건 상관 계수 ρ X $t$$\operatorname{E}[X]$$\rho_{XY}$ 2 개의 독립적 인 랜덤 워크 사이 는 0이 아니다; 실제로 존재하지 않습니다!
2. 인체 공학적 이론 의 가정은 적용되지 않으며 다양한 시계열 평균 (예 : )는T와 같은 것으로 수렴하지 않습니다$\frac{1}{T} \sum_\tau X_\tau$. $T \rightarrow \infty$
   • 고정 시퀀스의 경우 시계열 평균은 결국 시간에 무조건적인 평균에 수렴됩니다. 그러나 고정되지 않은 시퀀스의 경우 시간에 무조건적이라는 의미는 없습니다!

당신은 시간이 지남에 두 개의 독립적 인 무작위 행보의 다양한 관찰이있는 경우 (예. , X 2 , 등 ... 그리고 Y 1 , Y 2 , ...) 및 샘플 상관 계수를 계산, 당신은 수를 얻을 것이다 사이 - 1 및 1 . 그러나 그것은 존재하지 않는 인구 상관 계수의 근사치가 아닙니다.$X_1$$X_2$$Y_1$$Y_2$$-1$$1$

ρ X Y ( T ) (에서 시계열의 평균을 이용하여 계산 t = 1 에 t = T 기본적 랜덤 변수 될 것이다 () 값을 가지고 [ - 1 , 1 ] )되는 두 개의 특정 경로를 반영 임의의 보행은 우연히 발생했습니다 (즉, 샘플 공간 Ω 에서 그린 드로우 ω에 의해 정의 된 경로 ).$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• 두 경우 와 Y의 t가 같은 방향으로 방황하는 일이, 당신은 가짜 양 (+)의 상관 관계를 감지 할 수 있습니다.$X_t$$Y_t$
• 경우 와 Y의 t가 서로 다른 방향으로 떨어져 방황, 당신은 가짜 부정적인 관계를 감지 할 수 있습니다.$X_t$$Y_t$
• 경우 와 Y의 t가 서로 충분히에 걸쳐 방황하는 일이, 당신은 제로에 가까운 관계를 감지 할 수 있습니다.$X_t$$Y_t$

용어를 사용하여 이에 대해 Google에 더 자세히 알 수 있습니다 spurious regression random walk.

임의의 보행은 고정적이지 않으며 시간이 지남에 따라 평균 를 취하는 것은 샘플 공간 Ω 에서 iid draws ω 를 가져와 얻을 수있는 결과에 수렴하지 않습니다 . 위의 의견에서 언급했듯이 첫 번째 차이 Δ x t = x t − x t - 1을 취할 수 있으며 무작위 보행의 경우 그 과정 { Δ x t$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$ 는 정지 상태입니다.

큰 그림 아이디어 :

시간에 따른 다중 관측치는 표본 공간에서 여러 번 추출한 것과 다릅니다!

불연속 시간 확률 적 프로세스 는 시간 ( t ∈ N )과 샘플 공간 Ω 의 함수입니다 .$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

샘플 공간 Ω에 대한 기대치에 대해 시간 에 따른 평균 t의 수렴을 위해서는 정상 성과 회전 성 이 필요합니다 . 이것은 많은 시계열 분석에서 핵심적인 문제입니다. 그리고 랜덤 워크는 정지 된 과정이 아닙니다.$t$$\Omega$

WHuber의 답변에 연결 :

시간 t에 걸쳐 평균을 취하지 않고 여러 시뮬레이션에서 평균을 취할 수 있다면 (즉, 에서 여러 번 가져 오기) 여러 가지 문제가 사라집니다.$\Omega$$t$

사용자는 물론 정의 할 ρ X Y ( t ) 에서 산출 된 샘플의 상관 계수로서 X 1 ... X t 및 Y 1 ... Y의 t$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$ 이 또한 확률 과정 것이다.

임의의 변수 를 다음과 같이 정의 할 수 있습니다 .$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

에서 시작하는 두 개의 무작위 행보를 들어 과 N ( 0 , 1 ) 단위, 그것은 쉽게 찾을 E [ Z가 10000 ] 시뮬레이션 (즉, 여러부터 그립니다 복용 $0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$ .)

아래에서 샘플 Pearson 상관 계수의 10,000 계산 시뮬레이션을 실행했습니다. 매번 나는 :

• 정규 분포 증분 시뮬레이션 10,000 개의 길이가 무작위 행보 (그릴에서 $\mathcal{N}(0,1)$ ).
• 그들 사이의 샘플 상관 계수를 계산했습니다.

아래는 10000 개의 계산 된 상관 계수에 대한 경험적 분포를 보여주는 막대 그래프입니다.

당신은 분명히 확률 변수 것을 관찰 할 수있다 ρ X Y ( 10000 ) 간격의 여기 저기를 할 수 있습니다 [ - 1 , 1 ] . X 와 Y 의 두 고정 경로에 대해, 샘플 상관 계수는 시계열 길이가 증가함에 따라 어떤 것에도 수렴되지 않습니다.$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

반면, 특정 시간 (예 : ) 동안 샘플 상관 계수는 유한 평균 등을 갖는 랜덤 변수입니다. 절대 값을 취하고 모든 시뮬레이션에서 평균을 계산하면, 대략 .42를 계산합니다. 왜 당신이 이것을하고 싶은지 또는 이것이 왜 의미가 있는지 잘 모르겠습니다. 그러나 물론 당신은 할 수 있습니다.$t=10,000$

암호:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

The math needed to obtain an exact result is messy, but we can derive an exact value for the expected squared correlation coefficient relatively painlessly. It helps explain why a value near $1/2$ keeps showing up and why increasing the length $n$ of the random walk won't change things.

There is potential for confusion about standard terms. The absolute correlation referred to in the question, along with the statistics that make it up--variances and covariances--are formulas that one can apply to any pair of realizations of random walks. The question concern what happens when we look at many independent realizations. For that, we need to take expectations over the random walk process.

---

(Edit)

$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$. If this path tends downwards (from left to right, plotted on the usual X-Y axes) then in order to study the absolute value of the correlation, let's negate all the $Y$ values. Plot the walks on axes sized to give the $X$ and $Y$ values equal standard deviations and superimpose the least-squares fit of $Y$ to $X$. The slopes of these lines will be the absolute values of the correlation coefficients, lying always between $0$ and $1$.

This figure shows $15$ such walks, each of length $960$ (with standard Normal differences). Little open circles mark their starting points. Dark circles mark their final locations.

These slopes tend to be pretty large. Perfectly random scatterplots of this many points would always have slopes very close to zero. If we had to describe the patterns emerging here, we might say that most 2D random walks gradually migrate from one location to another. (These aren't necessarily their starting and endpoint locations, however!) About half the time, then, that migration occurs in a diagonal direction--and the slope is accordingly high.

The rest of this post sketches an analysis of this situation.

---

A random walk $(X_i)$ is a sequence of partial sums of $(W_1, W_2, \ldots, W_n)$ where the $W_i$ are independent identically distributed zero-mean variables. Let their common variance be $\sigma^2$.

In a realization $x = (x_1, \ldots, x_n)$ of such a walk, the "variance" would be computed as if this were any dataset:

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

A nice way to compute this value is to take half the average of all the squared differences:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

When $x$ is viewed as the outcome of a random walk $X$ of $n$ steps, the expectation of this is

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

The differences are sums of iid variables,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Expand the square and take expectations. Because the $W_k$ are independent and have zero means, the expectations of all cross terms are zero. That leaves only terms like $W_k$, whose expectation is $\sigma^2$. Thus

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

It easily follows that

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

The covariance between two independent realizations $x$ and $y$--again in the sense of datasets, not random variables--can be computed with the same technique (but it requires more algebraic work; a quadruple sum is involved). The result is that the expected square of the covariance is

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

Consequently the expectation of the squared correlation coefficient between $X$ and $Y$, taken out to $n$ steps, is

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Although this is not constant, it rapidly approaches a limiting value of $9/40$. Its square root, approximately $0.47$, therefore approximates the expected absolute value of $\rho(n)$ (and underestimates it).

---

I am sure I have made computational errors, but simulations bear out the asymptotic accuracy. In the following results showing the histograms of $\rho^2(n)$ for $1000$ simulations each, the vertical red lines show the means while the dashed blue lines show the formula's value. Clearly it's incorrect, but asymptotically it is right. Evidently the entire distribution of $\rho^2(n)$ is approaching a limit as $n$ increases. Similarly, the distribution of $|\rho(n)|$ (which is the quantity of interest) will approach a limit.

This is the R code to produce the figure.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}