약한 학습자의“강점”

앙상블 학습 (예 : 부스팅)에서 약한 학습자와 관련하여 몇 가지 밀접한 관련 질문이 있습니다.

1. 이것은 바보처럼 들릴지 모르지만 강한 학습자와 반대로 약한 것을 사용하면 어떤 이점이 있습니까? (예 : "강력한"학습 방법으로 부스트하지 않는 이유는 무엇입니까?)
2. 약한 학습자에게 어떤 종류의 "최적의"힘이 있습니까 (예 : 다른 모든 앙상블 파라미터를 고정 된 상태로 유지)? 힘에 관해서는 "달콤한 장소"가 있습니까?
3. 결과 앙상블 방법의 강도와 관련하여 약한 학습자의 강도를 어떻게 측정 할 수 있습니까? 앙상블 사용의 한계 이익을 정량적으로 측정하는 방법은 무엇입니까?
4. 주어진 앙상블 방법에 사용할 알고리즘을 결정하기 위해 몇 가지 약한 학습 알고리즘을 어떻게 비교합니까?
5. 주어진 앙상블 방법이 강한 분류기보다 약한 분류기를 돕는다면, 주어진 분류 기가 이미 너무 강해서 어떻게 부스트 할 때 상당한 이득을 얻지 못한다고 어떻게 알 수 있습니까?

이것은 자루에 넣는 정신이 많을 수 있지만 그럼에도 불구하고 :

• 당신이 정말로 강한 학습자를 가지고 있다면, 어떤 앙상블 것들에 의해 그것을 향상시킬 필요가 없습니다.
• 나는 ... 무관하다고 말할 것이다. 사소하게 블렌딩 및 배깅 할 때, 너무 강한 분류기를 만들면 수렴에 위반이 발생할 수 있습니다 (예를 들어 운이 좋은 예측은 순수한 노이즈를 예측하기 위해 다음 반복을 수행하여 성능을 저하시킬 수 있음).

• 다시, 이것은 실제 문제가 아닙니다. 이러한 방법의 핵심은

  1. 부분 분류 기가 문제에서 더 깊게 보이도록합니다.
  2. 잡음을 약화시키고 신호를 증폭시키기 위해 그들의 예측에 합류하십시오.

  1) 부스팅에주의를 기울여야합니다 (예 : 좋은 부스팅 체계, 부분 학습자가 잘 동작 함-대부분 부스트 실험에 의해 판단 됨), 2) 배깅 및 블렌딩 (주로 학습자 사이의 상관 관계 부족을 보장하는 방법) 앙상블을 과도하게 사용하지 마십시오. 이것이 정상인 한 부분 분류기의 정확도는 3 차 문제입니다.

먼저, "약한"과 "강한"의 개념은 약하게 정의됩니다. 내 관점에서, 그것들은 모든 훈련 알고리즘의 목표 인 최적의 Bayes 분류기와 관련하여 정의되어야합니다. 이를 염두에두고, 세 가지 요점에 대한 나의 대답은 다음과 같습니다.

1. 내가 본대로 전산. 내가 아는 대부분의 약한 학습자는 계산 속도가 빠릅니다 (그렇지 않으면 고려할 가치가 없음). 앙상블 학습의 주요 요점은 간단하고 빠르지 만 그렇게 좋지 않은 학습자를 결합하고 오류율을 향상시킬 수 있다는 것입니다. 우리가 더 강하고 (더 계산적으로 더 까다로운) 학습자를 사용하면 개선의 여지는 줄어들지 만 계산 비용은 커져 앙상블 방법의 사용이 덜 흥미로워집니다. 또한, 한 명의 강력한 학습자가 해석하기가 더 쉬울 수 있습니다. 그러나 약하고 강한 것은 문제와 우리가 달성하려는 최적의 Bayes 속도에 달려 있습니다. 따라서 종종 강하다고 여겨지는 학습자가 그것을 향상시킬 때 여전히 개선의 여지가 남아 있고 향상이 계산적으로 가능하다면 향상을하십시오 ...
2. 이는 "최적"을 측정하는 데 사용하는 기준에 따라 다릅니다. 오류율의 관점에서 나는 아니오라고 말할 것입니다 (다른 사람들이 다른 경험을 가지고 있다면 정정을 환영합니다). 속도 측면에서 볼 수 있지만 이것이 문제에 크게 의존한다고 생각합니다. 이 문제를 다루는 문헌이 없습니다. 죄송합니다.
3. ?
4. 교차 검증, 교차 검증, 교차 검증. 예측을 목표로 훈련 방법을 비교하는 다른 방법과 마찬가지로 비교에 대한 일반화 오차에 대한 편견없는 추정값이 필요합니다. 이는 테스트 데이터 세트를 따로 설정하거나 교차 검증을 통해이를 근사화하여 얻을 수 있습니다.