변수 대 잠재 변수

나는 이것에 대해 전에 물었고 모델 매개 변수를 만드는 것과 잠복 변수를 만드는 것을 식별하는 데 어려움을 겪었습니다. 따라서이 사이트 에서이 주제에 대한 다양한 스레드를 살펴보면 주요 차이점은 다음과 같습니다.

잠복 변수는 관찰되지 않지만 변수 및 매개 변수도 관찰되지 않으며 변수와 관련이 없으므로 분포가 없습니다. 이는 상수이며 고정하지만 알 수없는 값으로 알고 있습니다. 찾기. 또한 매개 변수에 대해 하나의 실제 값만 있거나 적어도 우리가 가정하는 경우에도 이러한 매개 변수에 대한 불확실성을 나타 내기 위해 매개 변수에 우선 순위를 둘 수 있습니다. 내가 지금까지 올바른 희망?

이제 저는 저널 논문에서 베이지안 가중 선형 회귀에 대한이 예를 살펴보고 매개 변수와 변수가 무엇인지 이해하기 위해 고심하고 있습니다.

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

여기서 와 는 관찰되지만 만 변수로 취급됩니다. 즉, 이와 관련된 분포가 있습니다. $x$ $y$ $y$

이제 모델링 가정은 다음과 같습니다.

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

따라서 의 분산 이 가중됩니다. $y$

및 에 대한 사전 분포도 있으며 , 이는 각각 정규 분포와 감마 분포입니다. $\beta$ $w$

따라서 전체 로그 가능성은 다음과 같습니다.

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

이제 알기로 와 는 모두 모델 매개 변수입니다. 그러나 논문에서 그들은 그것들을 잠재 변수로 계속 언급하고있다. 내 추론은 이고 는 변수 대한 확률 분포의 일부이며 모델 모수입니다. 그러나 저자는 그것들을 잠재적 난수 변수로 취급합니다. 그 맞습니까? 그렇다면 모델 매개 변수는 무엇입니까? $\beta$ $w$ $\beta$ $w$ $y$

논문은 여기 ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ) 에서 찾을 수 있습니다 .

이 논문은 Ting et al.의 자동 이상치 탐지 : 베이지안 접근 방식입니다.

— 루카
소스

논문에 대한 인용을 나열하는 것이 도움이 될 수 있습니다 (및 링크). 문제의 일부는 이것들이 Frequentist & Bayesian 관점과 정확히 다르다는 것입니다. 베이지안 관점에서, 매개 변수는 않습니다 분포를 가지고 - 그것은 불확실성을 표현하기에 추가 뭔가 아니다.

— gung-복직 모니카

나는 사람들이 아무 것도 설명하지 않고 논문을 읽을 것이라고 생각하기 때문에 불공평하다고 생각했지만 지금은 넣었습니다.

— Luca

잠재 변수에 사전을 넣을 수없는 이유는 무엇입니까? 나는 베이지안 초보자이지만, 그렇게 할 수있을 것 같습니다.

— robin.datadrivers

물론 분명히 베이지안 설정에서 할 수 있다고 생각합니다. 그러나 왜이 설정에서 또는 가 변수 인지 확실하지 않습니다 . 나에게 그들은 모델의 매개 변수처럼 보입니다. 이 설정에서 가 매개 변수가 아닌 변수 라고 말하는 것이 무엇인지 말하는 데 문제가 있습니다 . 당신도 명확하게 볼 수 있듯이 나는 초보자입니다.

w

$w$

β

$\beta$

w

$w$

— Luca

감사합니다, @Luca. 사람들이 신문을 읽도록 요구 한다면 좋지 않을 것 입니다. 나는 당신이 이것을 올바르게했다고 생각합니다.

— gung-복직 모니카

논문에서 일반적으로 (임의의) 변수 는 확률 분포에서 도출 된 모든 것입니다. 잠복 (무작위) 변수 는 직접 관찰하지 않는 변수 입니다 ( 는 관찰되지만 는 보이지 않지만 둘다는 rv입니다). 잠재 된 랜덤 변수에서 사후 분포를 얻을 수 있는데, 이는 관측 된 데이터에 조건부 확률 분포입니다. $y$ $\beta$

반면에 매개 변수 는 값을 모르더라도 고정됩니다. 예를 들어, 최대 우도 추정은 가장 가능성있는 모수 값을 제공합니다. 그러나 고정 된 것은 분포가 없기 때문에 전체 분포가 아닌 요점을 알려줍니다! (이 값에 대한 확실성 또는이 값의 범위에 분포를 둘 수 있지만 값이 실제로 임의의 경우에만 존재하는 값 자체의 분포와 동일하지 않습니다 변하기 쉬운)

베이지안 설정에서는 모든 것을 가질 수 있습니다. 여기서 매개 변수는 클러스터 수와 같은 것입니다. 이 값을 모델에 제공하면 모델은이를 고정 번호로 간주합니다. 는 분포에서 도출되기 때문에 랜덤 변수이고 와 는 확률 분포에서도 도출되기 때문에 잠재 된 랜덤 변수입니다. 사실 에 따라 달라 및 "매개 변수"를하지 않습니다, 그냥하게 두 확률 변수에 의존합니다. $y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

논문에서 그들은 와 가 임의의 변수 라고 생각 합니다. $\beta$ $w$

이 문장에서 :

이러한 업데이트 방정식은 모든 매개 변수와 전체 로그 가능성이 일정한 값으로 수렴 될 때까지 반복적으로 실행해야합니다.

이론적으로 그들은 임의의 변수가 아닌 두 개의 변수에 대해 이야기합니다. EM에서는 이것이 매개 변수보다 최적화되어 있기 때문에 수행합니다.

— 알베르토
소스

문제는 잠재 변수 에 관한 것 입니다.

— 팀

고정, 나는 그것이 더 명확하기를 바랍니다.

— alberto