Duda et al의 패턴 분류에서 무료 점심 정리 이해하기

Duda, Hart 및 Stork의 패턴 분류 섹션 9.2 고유 분류 자 부족의 섹션 9.2에 사용 된 표기법에 대해 몇 가지 질문이 있습니다 . 먼저 책에서 관련 텍스트를 인용하겠습니다.

단순화를 위해 트레이닝 세트의 두 종류의 문제를 고려 $D$ 패턴 구성을 $x^i$ 및 관련 카테고리 라벨 $y_i = ± 1$ 위해 $i = 1,..., n$ 학습 될 알려지지 않은 목표 함수에 의해 생성 된 , $F(x)$ , 여기서 $y_i = F(x^i)$ .

하자 $H$ 알게 될 가설 또는 파라미터 세트 수의 (별도의) 세트를 나타낸다. 특정 가설 $h(x) \in H$ 는 신경망에서 양자화 된 가중치로, 또는 기능적 모델에서 파라미터 0 또는 트리의 결정 세트 등으로 설명 할 수 있습니다.

또한, $P(h)$ 알고리즘이 가설 생산할 것이라는 사전 확률 $h$ 훈련 한 후에는; 이것은 $h$ 가 정확할 확률이 아닙니다 .

다음으로, 는 데이터 에 대해 훈련 될 때 $P(h|D)$ 알고리즘이 가설 를 산출 할 확률을 나타낸다 . 가장 가까운 이웃 및 의사 결정 트리와 같은 결정 론적 학습 알고리즘에서 는 단일 가설 제외한 모든 곳에서 0이됩니다 . 확률 론적 방법 (예 : 임의 초기 가중치로 학습 된 신경망) 또는 확률 론적 볼츠만 학습의 경우 는 광범위한 분포 일 수 있습니다. $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

제로원 $E$ 또는 기타 손실 함수의 오차라고 하자 .

실제 기능은 예상 오프 훈련 집합 분류 에러 $F(x)$ 와 용 확률 $k$ 번째 후보 학습 알고리즘은 $P_k(h(x)|D)$ 로 주어진다
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
정리 9.1. (무료 점심 없음) 두 학습 알고리즘 및 의 경우 샘플링 분포 및 훈련 지점 수 에 관계없이 다음 사항이 적용됩니다. $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

모든 목표 함수 , 에 대해 균일하게 평균화 $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

고정 훈련 세트 에 대해 이상으로 균일하게 평균화되는 경우 $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

파트 1은 실제로
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
2 부에서는 실제로
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

내 질문은

의 공식에서 , 즉 를 바꾸고 합계 , 그것의 분포 때문에 정말로 이상 주어진 대한 확률 학습 알고리즘 번째는? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
감안할 후보 학습 알고리즘 번째 이유의 화학식에서, 확률 방법 , 아무런 합 없다 즉 ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
어떻게하다 및 서로 다른? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

합니까 훈련 세트 주어진 오프 교육 오류율 의미 ? $\mathcal{E}_i (E|F, D)$ $D$

않습니다 훈련의 크기를 주어진 모든 훈련 세트 이상 평균 오프 교육 오류율, 평균 ? 그렇다면 NFL 정리의 파트 1이 를 작성하여 다시 훈련 세트에 대해 평균 을 갖는 이유와 , 훈련 크기를 주어진 모든 훈련 세트 아무런 평균 없다 ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
NFL 정리의 1 부에서 는 고정 된 훈련 크기 을 갖는 모든 훈련 세트에 대한 합산을 의미 합니까? $\sum_D$ $n$
1 부에서 훈련 크기 의 에서 가능한 모든 값을 더 합하면 결과는 여전히 0입니까? $\mathbb{N}$ $n$
의 화학식 , 나는 변경하는 경우 에 , 즉 반드시 학습 집합 외부로 제한되지 않으며, 윌 두 부분에서 NFL 정리는 여전히 사실입니까? $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
실제의 관계 경우 및 결정적 함수로 간주되지 로 대신 조건부 분포들 또는 조인트 분포 에 해당 알고 와 (참조 내 또 다른 질문을 , 나는 변경할 수) 될 수 (이상한 부분 1 및 2)에서 지적했다. NFL 정리의 두 부분이 여전히 사실입니까? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

감사합니다.

machine-learning

— 팀
소스

가 디랙 / 크로네 커 델타? 에서는

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

이 무료 점심은 정리 문제와 동일합니까? 그들은 연결되어 있습니까?

나는 내가 알고있는 것으로 생각되는 질문에 대답 할 것입니다.

이 답은 적합하지 않습니다. 는 적합 세트 일부가 아닌 를 선택 하므로 는 의존합니다 . $x$ $D$ $h$ $x$
$h$ 는 예상 오류율을 얻기 위해 테스트 세트 의 값 에서만 평가 되므로 전체 세트 대해 평가되지 않고 테스트 세트의 개별 세트 에서만 평가됩니다. $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ 는 함수 와 트레이닝 세트 주어지면 예상되는 오프 트레이닝 세트 오류율 입니다. 그러나 실제 값이 아닌 훈련 포인트 의 수에 대해서만 조정하기 때문에 다른 것으로 생각 합니다. 그러나 후속 진술에서 볼 때 이것은 수수께끼입니다. $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ 는 훈련 벡터의 집합입니다. 에는 훈련 벡터가 있습니다. 그래서 당신은 의 고정 훈련 벡터를 합산합니다 . 하나의 세트 만 있습니다 . $n$ $D$ $n$ $D$ $D$
5에 대한 답은 '아니오'라고 생각합니다. 이 표기법은 약간 혼란스러워 보입니다.

6과 7에 대해서는 언급 할 수 없습니다.

— 마이클 R. 체 르닉
소스

+1. 사이트에 오신 것을 환영합니다. 아마존에 대한 귀하의 리뷰를 좋아합니다. 편집에 대한 나의 추정을 실례하지만, 수학적 표기법은 대부분 $를 무언가의 양쪽에 두어 수행됩니다. 노란색 원을 클릭하면? 글을 쓸 때 오른쪽 상단에 더 많은 정보를 제공하는 "고급 도움말"링크가 표시됩니다. 또한 기존의 일부 mathjax (예 : 위와 같은)를 마우스 오른쪽 단추로 클릭하고 "Show Math As-> TeX 명령"을 선택하여 수행 방법을 확인할 수 있습니다.

— gung-모니 티 복원

즉, @gung은 다음과 같이 말합니다.이 사이트는 표시 수학을 포함하여 를 예상대로 정확하게 지원합니다 . 사이트에 오신 것을 환영합니다.

L A T E X

$\LaTeX$

— 추기경

@Michael 다른 사람들에게도 환영을 전하겠습니다. 여기에 you 게되어 반갑습니다. (Michael은 미국 통계 협회 (American Statistical Association) 토론 목록에 뛰어난 지식을 제공했습니다.)

— whuber