Bayes Classifier가 이상적인 분류자인 이유는 무엇입니까?

11

범주의 기초가되는 확률 구조가 완벽하게 알려진 이상적인 경우로 간주됩니다.

왜 Bayes 분류기를 사용하여 달성 할 수있는 최고의 성능을 달성 할 수 있습니까?

이에 대한 공식적인 증거 / 설명은 무엇입니까? 우리는 항상 다른 모든 분류기의 성능을 비교하기 위해 Bayes 분류기를 벤치 마크로 사용합니다.

— 배탈
소스

9

왜 Bayes 분류기를 사용하여 달성 할 수있는 최고의 성능을 달성 할 수 있습니까? 이에 대한 공식적인 증거 / 설명은 무엇입니까?

일반적으로 데이터 집합 $D$ 구성 여겨진다 $n$ IID 샘플 $x_i$ 하여 데이터를 생성하는 분포. 그런 다음 주어진 데이터에서 예측 모델을 구축 : 샘플 주어진 $x_i$ , 당신은 클래스 예측 , 샘플의 실제 클래스 인 반면 . $\hat{f}(x_i)$ $f(x_i)$

$\hat{f}_\text{chosen}$ $\hat{f}$ $\hat F$

$D$

$x_i$ $e$

e (model) = P [f (X) = model (X)],

$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$

X

$X$

$x$ $v$ $D$

P (v ∣ D) = \sum_{\hat{f}} P (v ∣ \hat{f}) P (\hat{f} ∣ D) .

$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$

$P(v\mid \hat{f})$ $0$ $1$ $\hat{f}$ $x$
$P(\hat{f}\mid D)$
$\hat{f}$

$P(v\mid D)$

$x$

\hat{v} = {argmax}_{v} \sum_{\hat{f}} P (v ∣ \hat{f}) P (\hat{f} ∣ D) .

$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$

v

$v$

e (\hat{f})

$e(\hat{f})$

우리는 항상 다른 모든 분류기의 성능을 비교하기 위해 Bayes 분류기를 벤치 마크로 사용합니다.

$P(v\mid D)$

— 앙투안
소스

P (v | f)

$P(v|f)$

@RuiQi 나는 같은 일이 있다고 생각하지 않는다 베이 즈 분류가. 순진한 베이 즈 분류기와 최적의 베이 즈 분류기를 알고 있습니다.

— Antoine

P (v ∣ \hat{f})

$P(v\mid \hat{f})$

v

$v$

\hat{f}

$\hat{f}$

0

$C_T$ $C_P$

$X$ $X$ $x$

P (C_{T} = C_{P}) = \int_{all possible X} f (x) P (C_{T} = C_{P} | x) d x

$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$

$f(x)$ $X$

$x$

$x$ $P(C_T=C_P|x)$ $x$

— Sextus Empiricus
소스