임의 포리스트에서 LASSO 사용

다음 프로세스를 사용하여 임의의 포리스트를 만들고 싶습니다.

• 정보 획득을 사용하여 분할을 결정하는 임의의 데이터 및 기능 샘플에 트리를 구축
• 사전 정의 된 깊이를 초과하는 리프 노드를 종료하거나 분할하면 사전 정의 된 최소값보다 작은 리프 수가 생성됩니다.
• 각 트리에 클래스 레이블을 지정하는 대신 리프 노드에서 클래스 비율을 지정하십시오.
• 미리 정의 된 숫자가 생성 된 후 나무 만들기를 중지

이것은 전통적인 랜덤 포레스트 프로세스를 두 가지 방식으로 강화합니다. 첫째, 클래스 레이블이 아닌 비율을 할당하는 가지 치기 트리를 사용합니다. 그리고 두 번째, 중지 기준은 일부 수하물 부족 오류 추정치보다 미리 결정된 수의 나무입니다.

내 질문은 이것입니다 :

N 트리를 출력하는 위의 프로세스 에서 LASSO 선택과 함께 로지스틱 회귀를 사용하여 모델을 적합시킬 수 있습니까? 물류 LASSO로 랜덤 포레스트 분류기와 후 처리를 경험 한 사람이 있습니까?

ISLE 프레임 워크는 회귀 문제에 대한 후 처리 단계로 LASSO를 사용하지만 분류 문제는 사용하지 않는다고 언급합니다. 또한 "랜덤 포레스트 올가미"를 검색 할 때 유용한 결과를 얻지 못합니다.

그래디언트 트리 부스팅과 비슷합니다. 부스팅의 개념은 모델 클래스의 최상의 선형 조합을 찾는 것입니다. 트리를 데이터에 맞추면 결과 변수를 가장 잘 설명하는 트리를 찾으려고합니다. 대신 부스팅을 사용하면 트리의 가장 좋은 선형 조합을 찾으려고합니다.

그러나 부스팅을 사용하면 임의의 트리가 없기 때문에 조금 더 효율적이지만 아직 예측할 수없는 예에서 작동하는 새 트리를 만들려고합니다.

이에 대한 자세한 내용은 통계 학습 요소 10 장 ( http://statweb.stanford.edu/~tibs/ElemStatLearn/)을 읽는 것이 좋습니다 .

이것이 귀하의 질문에 대한 완전한 답변은 아니지만 도움이되기를 바랍니다.