무작위 추적 기법

10

M. Seeger에서 다음과 같은 무작위 추적 기법 을 만났습니다 . 담당자, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

여기서 입니다. $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

심도있는 수학 배경이없는 사람으로서, 나는이 평등이 어떻게 달성 될 수 있는지 궁금합니다. 또한, 예를 들어 기하학적으로 어떻게 해석 할 수 있습니까? 벡터의 내부 곱을 가져 오는 의미와 그 범위 값을 이해하기 위해 어디를 봐야합니까? 평균이 고유 값의 합과 같은 이유는 무엇입니까? 이론적 인 속성 외에도 실제적인 중요성은 무엇입니까? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

작동하는지 확인하기 위해 MATLAB 코드 스 니펫을 작성했습니다

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

추적은 15이며 근사값은 14.9696입니다.

normal-distribution matlab

— Petrichor
소스

12

NB 명시된 결과는 좌표의 정규성 또는 독립성에 의존하지 않습니다. . 그것은 도 양의 명확한 것에 의존하지 않습니다 . 실제로, 가정 만 의 좌표 것을 하나의 제로 평균, 분산을 가지고있는 상관 관계가없는 (그러나 반드시 독립적이지); 즉, 모든 대해 , 및 입니다 . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

맨손으로 접근

하자 임의의 수 행렬. 정의에 따르면 입니다. 그런 다음 가 완료되었습니다. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

명확하지 않은 경우, 기대의 선형성에 따라 오른쪽은

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

추적 속성을 통한 증명

이것을 제안하는 또 다른 방법이 있지만 암시 적으로 약간 고급 도구에 의존합니다. 우리는 기대와 추적 연산자가 모두 선형 하고 와 의 적절한 차원의 . 그런 다음 이므로 이므로 $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

2 차 형태, 내부 제품 및 타원체

경우 포지티브 한정하고 내부 제품에 을 통해 정의 될 수 및 은 원점을 중심으로 타원체를 정의합니다 . $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— 추기경
소스

굵은 및 mormalcase 변수 를 따르는 것은 상당히 혼란 스럽습니다 . 스칼라 값이라고 생각합니다. 마지막 부분에서 한 것처럼 기대 양식에서 시작할 때 더 명확하게 이해합니다. 따라서 는 지금 매우 분명합니다.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— petrichor

x_{i}

$\mathbf{x}_i$ 는 벡터 의 번째 좌표입니다 . 다른 사람들은 단순히 오타입니다. 미안합니다. 나는 당신의 표기법을 가능한 한 밀접하게 따르려고 노력했습니다. 나는 보통 랜덤 변수 의 좌표 로 와 함께 사용 합니다. 그러나 나는 (잠재적으로) 혼동하고 싶지 않았습니다.

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— 추기경

실제로, 그것은 대답 내에서 일관성이 있습니다. 첨자 변수가 벡터의 요소인지 확인하고 싶었습니다. 이제는 분명하다.

— petrichor

글쎄, 내가 편집했기 때문에 일관성이 있습니다 (현재)! :) 오타를 지적 해 주셔서 감사합니다. 다음 며칠 동안 어떤 시점에서 기하학에 대해 조금 더 추가하려고합니다.

— 추기경

3

경우 대칭이며, 일정한 양의 다음 와 정규직 교 및 대각선 고유 대각선. 에는 항등 분산 행렬이 있고 는 정규직 교 이기 때문에 에는 항등 분산 행렬도 있습니다. 따라서 라고 쓰면 입니다. 기대 연산자는 선형이므로 입니다. 각 는 자유도가 1 인 카이 제곱이므로 기대 값 1을 갖습니다. 따라서 기대 값은 고유 값의 합입니다. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

기하학적으로, 양의 양의 한정 행렬 는 타원체와 1-1 대응 관계로 방정식으로 주어집니다 . 타원체 축의 길이는 로 주어집니다. 여기서 는 고유 값입니다. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

경우 여기서, 공분산 행렬이고, 이는의 정사각형 마할 라 노비스 거리 . $A = C^{-1}$ $C$

— aprokopiw
소스

1

질문의 "실제적인 중요성은 무엇인가"부분을 다루겠습니다. 우리가 컴퓨팅 행렬 벡터 제품에 능력이있는 많은 상황이있다 우리가 매트릭스의 저장된 사본이없는 효율적 경우에도 또는 사본 저장하기에 충분한 저장하지 않아도 . 예를 들어 의 크기는 100,000 x 100,000이고 완전 밀도 일 수 있습니다. 이러한 행렬을 배정 밀도 부동 소수점 형식으로 저장하려면 80GB의 RAM이 필요합니다. $Ax$ $A$ $A$ $A$

이런 알고리즘은 무작위의 추적 추정하는데 사용될 수 개별 대각선 엔트리 (관련 알고리즘을 사용하여) 또는 . $A$ $A$

대규모 지구 물리학 적 역전 문제에 대한이 기법의 일부 응용은

JK MacCarthy, B. Borchers 및 RC 애 스터. 모델 해상도 행렬 대각선의 효율적인 확률 론적 추정과 큰 지구 물리학 적 역 문제에 대한 일반화 된 교차 검증. 지구 물리학 저널, 116, B10304, 2011. 논문 링크

— 브라이언 보처 스
소스

+1 이번 학기 무작위 알고리즘을 만나서 매료되었습니다. 또 다른 좋은 기사를 추가하겠습니다. Nathan Halko, Per-Gunnar Martinsson, Joel A. Tropp, "임의의 구조 찾기 : 근사 행렬 분해 구성을위한 확률 알고리즘", 2010, arxiv.org/abs/0909.4061

— petrichor