행렬 함수의 미분에 대한이 계산이 무엇을 정당화합니까?

Andrew Ng의 기계 학습 과정에서 그는 다음 공식을 사용합니다.

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

그는 다음과 같이 빠른 증거를 수행합니다.

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

아무런 증거없이 증거가 매우 밀도가 높아서 이해하기가 어렵습니다. 두 번째에서 세 번째로의 평등은 정확히 무엇입니까?

machine-learning matrix derivative

— 머니 볼
소스

그는

및

의 차원에 대해 특별한 가정을해야합니다. 그렇지 않으면이 공식은 일반적으로 의미가 없습니다. 왼쪽에서

는 음수가 아닌 정수

경우

행렬,

행렬 및

행렬 이어야합니다 . 그러나

아니면 오른쪽의 제품은 정의되지 않습니다 .

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@ whuber 알겠습니다. 가정을 감안할 때, 나는 그가

를 소개하는 두 번째 줄에서 세 번째 줄로의 전환이 어떻게 발생했는지 여전히 이해하지 못합니다 .

\circ

$\circ$

— MoneyBall

두 번째 줄과 세 번째 줄 사이에 그는

합니다. 두 번째 줄과 세 번째 줄 사이에서 그는 제품 규칙을 사용했습니다. 나중에 그는 체인 규칙을 사용하여

제거 합니다.

f (A) = A B

$f(A)=AB$

f ()

$f()$

— 브라이언 Borchers

미묘하지만 많은 표기법을 남용하여 많은 단계를 혼란스럽게합니다. 행렬 곱셈, 전치, 트레이스 및 미분의 정의로 돌아가서이 문제를 해결해 봅시다. 설명을 생략하고 싶은 분들은 마지막 섹션 인 "Putting It All Together"로 넘어 가서 엄밀하고 간단한 데모를 할 수 있습니다.

표기법과 개념

치수

표현식 될 때 이해하기 위해 이다 행렬, A (사각형)이어야 행렬 있어야 제품이 어디서 왔는지 행렬 행렬 . (대각 원소의 합이되는 추적을 수행하기 위하여 후) 만드는 $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$ 정사각 행렬.

파생 상품

표기 " "에 대한 식의 유도체를 참조 표시 . 일반적으로 미분은 기능 에서 수행되는 작업 입니다. 점 에서의 미분은 선형 변환 입니다. 이들 벡터 공간에 대한 염기를 선택할 때, 그러한 변환은 행렬 로 표현 될 수있다 . 여기서는 그렇지 않습니다! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

벡터로서의 행렬

대신 는 의 요소로 간주됩니다 . 계수는 길이가 벡터로 롤링됩니다 (일반적으로 행 단위 또는 열 단위) . 함수 는 실제 값을 갖습니다 . 결과적으로 는 행렬 이어야합니다 . 이것은 선형 형태를 나타내는 행 벡터입니다. $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ . 그러나 문제의 계산은 선형 형태를 나타내는다른방법을사용합니다. 계수는행렬로 롤백됩니다. $\mathbb{R}^{mn}$ $m\times n$

선형 형태의 흔적

하자 일정한 수의 매트릭스. 그리고 트레이스와 행렬 곱셈의 정의에 의해 $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

이 계수의 가장 일반적인 가능한 선형 조합으로 표현 : 동일하게 형상의 행렬 과 행의 계수 및 열 계수이다 선형 조합이다. 때문에 의 역할 및 등가 식을 제공 할 수있다 절환 $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{나는, 제이} ω_{나는 제이} ㅏ_{나는 제이} = TR (ㅏ ω^{'}) = TR (ω ㅏ^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

상수 행렬 식별함으로써 기능 중 하나로 또는 , 우리의 공간 선형 형태 나타낼 수 매트릭스 등의 매트릭스. ( 에서 까지의 함수 파생과 혼동하지 마십시오 !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

파생 계산

정의

통계에서 발생하는 많은 행렬 함수의 파생물은 정의에서 가장 쉽고 안정적으로 계산됩니다. 복잡한 행렬 차별화 규칙에 의존 할 필요가 없습니다. 이 정의는 있다고 에서 미분이고 는 선형 변환이있다 경우만 이 그러한 $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

임의의 작은 변위에 대한 . 차분 근사화에서 이루어진 것으로 에러 작은-OH 표기 수단 가 사이즈보다 작은 임의의 이 충분히 작은위한 . 특히, 우리는 항상 . $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

계산

해당 함수에 정의를 적용 해 봅시다. 2 의 곱으로 항을 곱하고 확장하고 무시하며 , $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

미분 을 식별하려면 이를 형식으로 만들어야합니다 . 오른쪽의 첫 번째 항은 이미이 형식으로되어 있으며 입니다. 오른쪽의 다른 항 은 대한 입니다 . 이것을 써 봅시다 : $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (삼) & TR (엑스 h^{'} 씨) = \sum_{나는 = 1}^{미디엄} \sum_{제이 = 1}^{엔} \sum_{케이 = 1}^{미디엄} {엑스}_{나는 제이} h_{케이 제이} 씨_{케이 나는} = \sum_{나는, 제이, 케이} h_{케이 제이} (씨_{케이 나는} {엑스}_{나는 제이}) = TR ((씨 엑스) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

호출 하면 를 다시 쓸 수 있습니다 $X=AB$ $(2)$

에프 (ㅏ + h) - 에프 (ㅏ) = TR (h 비 ㅏ^{'} 씨) + TR (씨 ㅏ 비 h^{'}) + 영형 (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

그것은 인 이 우리의 유도체를 고려할 수 있음을 의미 에 수 이들 매트릭스가 재생 때문에 미량 공식에서 역할 . $f$ $A$

디 에프 (ㅏ) = (비 ㅏ^{'} 씨)^{'} + 씨 ㅏ 비 = 씨^{'} ㅏ 비^{'} + 씨 ㅏ 비,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

함께 모아서

그렇다면 완벽한 솔루션입니다.

하자 수 행렬 행렬과 매트릭스. 이라고하자 . 하자 수 임의의 작은 계수 행렬. (식별 의해 ) $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$ 미분이고 그것의 유도체는 선형 형태의 매트릭스에 의해 결정되는
$\begin{aligned} 에프 (ㅏ + h) - 에프 (ㅏ) & = TR (h 비 ㅏ^{'} 씨) + TR (ㅏ 비 h^{'} 씨) + 영형 (| h |) \\ = TR (h (씨^{'} ㅏ 비^{'})^{'} + (씨 ㅏ 비) h^{'}) + 영형 (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $씨^{'} ㅏ 비^{'} + 씨 ㅏ 비 .$ $C^\prime A B^\prime + CAB.$

이것은 작업의 절반 정도만 걸리고 행렬과 트레이스의 가장 기본적인 조작 (곱셈과 전치) 만 포함하기 때문에 결과를보다 단순하고 명백하게 설명해야합니다. 원래 데모의 개별 단계를 실제로 이해하려면 여기에 표시된 계산과 비교하는 것이 유익 할 수 있습니다.

— 우버
소스

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

@Amoeba 정확히 맞습니다.이 답변의 첫 번째 줄에있는 주장을 충분히 정당화합니다. 이것이 내가 " 이 의미에서" 쓴 이유 이고 나중에 요약에서 "같음"보다는 "결정된"이라는 구를 사용했습니다. 나는 설명이 도전적이라는 것을 부정하지는 않을 것이다. 나는 그것을 명확히하는 방법에 대해 생각하고 모든 의견과 제안에 감사드립니다.

— whuber

@ user10324이 사이트에 게시하는 대부분의 내용은 제 자신의 공식입니다. 소스를 거의 참조하지 않습니다. 이 게시물은 많은 책과 논문을 읽지 않은 것입니다. 최고의 책 중 일부는 완전히 수학적으로 엄격한 책은 아니지만 근본적인 아이디어를 아름답게 설명하고 묘사 한 책이었습니다. 정교함을 염두에두고 처음 떠오르는 소수는 Freedman, Pisani, & Purves, Statistics (모든 판)입니다. Jack Kiefer, 통계적 추론 소개 ; and Steven Shreve, Stochastic Calculus for Finance II .

— whuber

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$