«boosting» 태그된 질문

약한 예측 모델을 강력한 예측 모델로 결합하는 알고리즘 군. 가장 일반적인 접근 방식을 그라디언트 부스팅이라고하며 가장 일반적으로 사용되는 약한 모델은 분류 / 회귀 트리입니다.


2
그라디언트 부스팅 트리 및 임의의 포리스트
Friedman이 제안한 그라디언트 트리 부스팅은 의사 결정 트리를 기본 학습자로 사용합니다. 기본 의사 결정 트리를 가능한 한 복잡하게 (완전히 성장) 또는 단순하게 만들어야하는지 궁금합니다. 선택에 대한 설명이 있습니까? 랜덤 포레스트는 의사 결정 트리를 기본 학습자로 사용하는 또 다른 앙상블 방법입니다. 내 이해를 바탕으로, 우리는 일반적으로 각 반복마다 거의 완전히 자란 …


5
랜덤 포레스트는 부스팅 알고리즘입니까?
부스팅의 짧은 정의 : 약한 학습자 세트가 하나의 강력한 학습자를 만들 수 있습니까? 약한 학습자는 실제 분류와 약간만 관련이있는 분류 자로 정의됩니다 (임의 추측보다 예제를 더 잘 레이블링 할 수 있음). 랜덤 포레스트 의 짧은 정의 : 랜덤 포레스트는 많은 분류 트리를 자랍니다. 입력 벡터에서 새 개체를 분류하려면 입력 벡터를 …

2
그라디언트 부스팅 트리 (GBM)와 Adaboost의 차이점에 대한 직관적 인 설명
GBM과 Adaboost의 차이점을 이해하려고합니다. 이것들은 내가 지금까지 이해 한 것입니다 : 부스팅 알고리즘은 모두 이전 모델의 오류를 파악하고 모델의 가중치 합계를 만듭니다. GBM과 Adaboost는 손실 기능을 제외하고는 매우 유사합니다. 그러나 여전히 그들 사이의 차이점에 대한 아이디어를 얻는 것이 어렵습니다. 누군가 나에게 직관적 인 설명을 해줄 수 있습니까?
48 boosting  gbm  adaboost 

2
선형 회귀에 대한 그라디언트 부스팅-왜 작동하지 않습니까?
그라디언트 부스팅에 대해 배우면서 메서드가 빌드 및 앙상블 모델을 만드는 데 사용하는 "약한 분류기"의 속성과 관련된 제약에 대해 들어 보지 못했습니다. 그러나 선형 회귀를 사용하는 GB의 응용 프로그램을 상상할 수 없었으며 실제로 테스트를 수행했을 때 작동하지 않습니다. 나는 제곱 잔차의 합의 기울기로 가장 표준적인 접근법을 테스트하고 후속 모델을 함께 추가했습니다. …

2
이것이 최첨단 회귀 방법론입니까?
저는 오랫동안 Kaggle 대회를 따라 왔으며 많은 우승 전략에는 "빅 3"중 하나 이상을 사용하는 것이 포함되어 있습니다. 포장, 부스팅 및 스태킹. 회귀 분석의 경우 가능한 최상의 회귀 모델을 작성하는 데 초점을 맞추지 않고 (일반화 된) 선형 회귀, 임의 포리스트, KNN, NN 및 SVM 회귀 모델과 같은 다중 회귀 모델을 작성하고 …

1
GBM, XGBoost, LightGBM, CatBoost의 수학적 차이점은 무엇입니까?
다음과 같은 GBDT 모델 제품군에는 여러 가지 구현이 있습니다. GBM XGBoost 라이트 GBM Catboost. 이 다른 구현들 사이 의 수학적 차이점은 무엇입니까 ? Catboost는 이 벤치 마크 에 따라 기본 매개 변수 만 사용하더라도 다른 구현보다 성능이 뛰어나지 만 여전히 느립니다. 내 생각에 catboost는 희미한 변수를 사용하지 않으므로 각 (범주 …
33 boosting  xgboost 

1
부스팅의 상대 변수 중요도
Gradient Boosted Trees에서 상대 변수 중요성이 계산되는 방법에 대한 설명을 찾고 있습니다. 측정 값은 변수가 분할을 위해 선택된 횟수, 각 분할의 결과로 모델의 제곱 개선에 의해 가중치가 부여되고 모든 트리에서 평균화 됩니다. [ Elith et al. 2008, 회귀 트리 향상을위한 작업 가이드 ] 그리고 그것은 덜 추상적입니다. 나는2j^( T) = …

1
GBM 매개 변수에 대한 유용한 지침은 무엇입니까?
GBM을 사용하여 매개 변수를 테스트하는 데 유용한 지침 (예 : 상호 작용 깊이, Minchild, 샘플 속도 등)은 무엇입니까? 70 ~ 100 개의 기능, 인구가 200,000 명이고 상호 작용 깊이 3과 4를 테스트하려고한다고 가정 해 보겠습니다. 어떤 매개 변수 조합이 어떤 샘플을 가장 잘 보유하는지 확인하려면 몇 가지 테스트를 수행해야합니다. 이 …

5
GBM에서 상호 작용 깊이는 무엇을 의미합니까?
R에서 gbm의 상호 작용 깊이 매개 변수에 대한 질문이 있습니다. 이것은 멍청한 질문 일 수 있지만 사과 할 수는 있지만 트리의 터미널 노드 수를 나타내는 매개 변수는 기본적으로 X-way를 나타냅니다. 예측 자들 사이의 상호 작용? 그것이 어떻게 작동하는지 이해하려고 노력합니다. 또한 두 요인 변수가 단일 요인으로 결합 된 경우를 제외하고 …

1
Taylor 확장을 통한 XGBoost 손실 기능 근사
예를 들어, 번째 반복 에서 XGBoost 모델의 목적 함수를 사용하십시오 .ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) 여기서 은 손실 함수이고, 는 번째 트리 출력이고 \ Omega 는 정규화입니다. 빠른 계산을위한 (다수) 주요 단계 중 하나는 근사치입니다.ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), 여기서 gigig_i 및 hihih_i 는 손실 함수의 1 차 및 2 차 미분입니다. 내가 요구하는 것은 …

3
강화하면서 왜 학습자가“약한”가?
stats.SE에서 비슷한 질문을 참조하십시오 . 에서 증폭 과 같은 알고리즘 에이다 부스트 및 LPBoost를 "약한"학습자가 위키 백과에서 유용 할 더 나은 기회가보다 더 수행에만 결합하는 것으로 알려져있다 : 사용하는 분류기는 약할 수 있지만 (실질적인 오류율을 표시) 성능이 임의적이지 않은 한 (이진 분류의 경우 오류율이 0.5 인 경우) 최종 모델이 향상됩니다. …


2
약한 학습자의“강점”
앙상블 학습 (예 : 부스팅)에서 약한 학습자와 관련하여 몇 가지 밀접한 관련 질문이 있습니다. 이것은 바보처럼 들릴지 모르지만 강한 학습자와 반대로 약한 것을 사용하면 어떤 이점이 있습니까? (예 : "강력한"학습 방법으로 부스트하지 않는 이유는 무엇입니까?) 약한 학습자에게 어떤 종류의 "최적의"힘이 있습니까 (예 : 다른 모든 앙상블 파라미터를 고정 된 상태로 …

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.