Naive Bayes는 어떻게 선형 분류기입니까?

나는 다른 스레드 를 보았지만 대답이 실제 질문을 만족시키지 않았다고 생각합니다. 내가 계속 읽은 것은 Naive Bayes가 로그 확률 데모를 사용하여 선형 분류 자 (예 : here ) (선형 결정 경계를 그립니다)라는 것입니다.

그러나 두 개의 가우시안 구름을 시뮬레이션하고 결정 경계를 설정하고 결과를 얻었습니다 (naiveBayes ()를 사용하여 r의 라이브러리 e1071) 1- 녹색, 0- 빨강

보다시피, 결정 경계는 비선형입니다. 매개 변수 (조건부 확률)가 분류 자 자체가 데이터를 선형으로 분리한다고 말하는 것이 아니라 로그 공간에서 선형 조합이라고 말하려고합니까?

classification naive-bayes

— 케빈 페이
소스

의사 결정 경계를 어떻게 만들었습니까? 나는 분류 자의 진정한 결정 경계가 아닌 피팅 루틴과 관련이 있다고 생각합니다. 일반적으로 사분면의 모든 단일 지점에서 결정을 계산하여 결정 경계를 생성합니다.

— seanv507

이것이 제가 한 일입니다. 간격은 0.1 인 X = [Min (x), Max (x)] 및 Y = [Min (Y), Max (Y)]의 두 가지 범위를 취했습니다. 그런 다음 모든 데이터 포인트를 훈련 된 분류기로 맞추고 로그 확률이 -0.05와 0.05 사이 인 포인트를 찾았습니다.

— Kevin Pei

답변:

일반적으로 순진 베이 즈 분류기는 선형이 아니지만 가능성 요인 가 지수 패밀리 에서 나온 경우, 순진 베이 즈 분류기는 특정 피처 공간의 선형 분류기에 해당합니다. 이것을 보는 방법은 다음과 같습니다. $p(x_i \mid c)$

순진한 Bayes 분류기를 다음과 같이 작성할 수 있습니다. *

피 (기음 = 1 ∣ 엑스) = σ (\sum_{나는} 로그 \frac{피 ({엑스}_{나는} ∣ 기음 = 1)}{피 ({엑스}_{나는} ∣ 기음 = 0)} + 로그 \frac{피 (기음 = 1)}{피 (기음 = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

여기서 는 로지스틱 함수 입니다. 경우 지수 가족, 우리는로 쓸 수 있습니다 $\sigma$ $p(x_i \mid c)$

피 ({엑스}_{나는} ∣ 기음) = h_{나는} ({엑스}_{나는}) 특급 (유_{나는 기음}^{⊤} ϕ_{나는} ({엑스}_{나는}) - {에이}_{나는} (유_{나는 기음})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

따라서

피 (기음 = 1 ∣ 엑스) = σ (\sum_{나는} 승_{나는}^{⊤} ϕ_{나는} ({엑스}_{나는}) + 비),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

어디에

\begin{aligned} 승_{나는} & = 유_{나는 1} - 유_{나는 0}, \\ 비 & = 로그 \frac{피 (기음 = 1)}{피 (기음 = 0)} - \sum_{나는} ({에이}_{나는} (유_{나는 1}) - {에이}_{나는} (유_{나는 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

이것은 정의 된 형상 공간에서 로지스틱 회귀 ( 선형 분류기 )와 유사합니다 . 두 개 이상의 클래스에 대해 우리는 유사하게 다항 로지스틱 (또는 소프트 맥스) 회귀를 얻습니다 . $\phi_i$

경우 가우시안하고있다 우리가 있어야 $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} 승_{나는 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ 승_{나는 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ 비_{나는} & = 로그 σ_{0} - 로그 σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

가정 . $p(c = 1) = p(c = 0) = \frac{1}{2}$

*이 결과를 도출하는 방법은 다음과 같습니다.

\begin{aligned} 피 (기음 = 1 ∣ 엑스) & = \frac{피 (엑스 ∣ 기음 = 1) 피 (기음 = 1)}{피 (엑스 ∣ 기음 = 1) 피 (기음 = 1) + 피 (엑스 ∣ 기음 = 0) 피 (기음 = 0)} \\ = \frac{1}{1 + \frac{피 (엑스 ∣ 기음 = 0) 피 (기음 = 0)}{피 (엑스 ∣ 기음 = 1) 피 (기음 = 1)}} \\ = \frac{1}{1 + 특급 (- 로그 \frac{피 (엑스 ∣ 기음 = 1) 피 (기음 = 1)}{피 (엑스 ∣ 기음 = 0) 피 (기음 = 0)})} \\ = σ (\sum_{나는} 로그 \frac{피 ({엑스}_{나는} ∣ 기음 = 1)}{피 ({엑스}_{나는} ∣ 기음 = 0)} + 로그 \frac{피 (기음 = 1)}{피 (기음 = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— 루카스
소스

내가 지금 이해하고있는 미분에 대해 감사합니다. 방정식 2 이하의 표기법을 설명 할 수 있습니까? (u, h (x_i), phi (x_i) 등) P (x_i | c)가 지수 패밀리 아래에 단순히 pdf에서 값을 가져 오는 것입니까?

— 케빈 페이

u

$\mathbf{u}$

ϕ

$\phi$

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

나는이 답변이 오도하는 것을 발견했다. 가장 의견에서 지적했듯이 바로 아래의 대답에서 가우시안 순진 베이는 원래 피처 공간에서 선형이 아니라 비선형 변환입니다. 따라서 일반적인 선형 분류 기가 아닙니다.

— Gael Varoquaux

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

클래스 조건부 분산 행렬이 두 클래스에 대해 동일한 경우에만 선형입니다. 이것을 보려면 로그 후부 배급 비율을 적어두고 해당 분산이 동일한 경우에만 선형 함수를 얻을 수 있습니다. 그렇지 않으면 이차입니다.

— 도끼
소스

한 가지 추가 요점을 추가하고 싶습니다. 혼란의 일부는 "Naive Bayes 분류"를 수행하는 것이 무엇을 의미하는지에 달려 있습니다.

"Gassian Discriminant Analysis (GDA)"의 광범위한 주제에는 QDA, LDA, GNB 및 DLDA (이차 DA, 선형 DA, 가우스 순진 베이, 대각선 LDA)와 같은 몇 가지 기술이 있습니다. [업데이트 됨] LDA와 DLDA는 주어진 예측 변수의 공간에서 선형이어야합니다. (예를 들어, Murphy , 4.2, DA (101) 및 NB (82) 참조) 참고 : GNB는 반드시 선형 일 필요는 없습니다. 개별 NB (후드에서 다항 분포를 사용하는)는 선형입니다. 또한 Duda를 확인할 수도 있습니다. , Hart & Stork 섹션 2.6). QDA는 다른 답변이 지적했듯이 이차적입니다 (그리고 그래픽에서 일어나는 일이라고 생각합니다-아래 참조).

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

e1071 문서 는 클래스 조건부 독립 (GNB)을 가정하고 있다고 주장 하지만 실제로 QDA를 수행하고 있다고 의심됩니다. 어떤 사람들은 "순진한 베이 즈"(독립 가정)와 "단순한 베이지안 분류 규칙"을 혼동합니다. 모든 GDA 방법은 이후에서 파생됩니다. 그러나 GNB와 DLDA만이 전자를 사용합니다.

큰 경고, 나는 그것이 무엇을하고 있는지 확인하기 위해 e1071 소스 코드를 읽지 않았습니다.

— MrDrFenner
소스