총계 (클래스 내 + 클래스 간) 분산 행렬 도출

나는 PCA와 LDA 방법을 다루고 있었고 어느 시점에 갇혀있다. 나는 그것을 볼 수 없을 정도로 단순하다는 느낌이 든다.

내 수준 ( ) 사이 급 ( ) 산란 행렬은 다음과 같이 정의된다 : $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

총 산란 행렬 는 다음과 같습니다. $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

여기서 C는 클래스 수이고 N은 샘플 수 는 샘플이고, 는 i 번째 클래스 평균이고, 는 전체 평균입니다. $x$ $\mu_i$ $\mu$

를 도출하려고 할 때 나는 내가 가진 지점에 도달했습니다. $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

용어로. 이것은 0이어야하지만 왜 그럴까요?

과연:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
소스

답은 평균 주위의 값 편차를 합산하고 그 합이 0이라는 것입니다. 그러나 , 및 는 정확히 무엇 입니까? 어떻게하다 와 관련 와 ? 답변의 질은 우리가 얼마나 정확하게 추측 하느냐에 달려 있지만 당신은 우리가 엄청나게 많은 추측을하도록 강요하고 있습니다!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@ whuber : 당신은 완전히 맞아, 나는 내 질문을 수정했다.

— nimcap

당신이 가정한다면

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

그때

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

그리고 공식 보유. 비슷한 방식으로 두 번째 용어를 다룹니다.

— mpiktas
소스

(+1) 첫 번째의 전치 인 두 번째 항도 0이어야합니다 :-).

— whuber

@whuber, 그렇습니다, 그것도 :)

— mpiktas

안녕하세요, 가정이 왜 그런지 모르겠습니까? 누군가 설명 할 수 있습니까?

— Mvkt

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$