그래디언트 부스팅 머신 또는 신경망과 같은 알고리즘을 설명하는 머신 러닝 텍스트는 종종 이러한 모델이 예측에 우수하다고 말하지만 설명 가능성 또는 해석 가능성이 떨어집니다. 반대로 단일 의사 결정 트리와 클래식 회귀 모델은 설명이 잘되어 있지만 임의 포리스트 또는 SVM과 같은보다 정교한 모델과 비교할 때 (상대적으로) 열악한 예측 정확도를 제공합니다. 기계 학습 모델이 일반적으로이 둘 사이의 좋은 균형을 나타내는 것으로 받아 들여 집니까? 설명 할 수있는 알고리즘의 특성을 열거 한 문헌이 있습니까? (이 질문은 이전에 교차 유효성 검사를 받았음)
답변:
설명 할 수있는 알고리즘의 특성을 열거 한 문헌이 있습니까?
내가 아는 유일한 문헌은 Ribero, Singh 및 Guestrin 의 최근 논문 입니다. 먼저 단일 예측의 설명 가능성을 정의합니다.
"예측 설명"은 인스턴스 구성 요소 (예 : 텍스트의 단어, 이미지의 패치)와 모델의 예측 간의 관계에 대한 질적 이해를 제공하는 텍스트 또는 시각적 아티팩트를 나타내는 것을 의미합니다.
저자는 더 구체적인 예에서 이것이 의미하는 바에 대해 자세히 설명한 다음이 개념을 사용하여 모델의 설명 가능성을 정의합니다. 이들의 목표는 기존 방법의 설명 가능성을 비교하기보다는 불명확 한 모델에 인공적으로 설명 가능성을 추가하여 말하기 위해 노력하는 것입니다. "설명"이라는 개념에 대해보다 정확한 용어를 소개하려는 시도로 인해이 논문은 도움이 될 수 있습니다.
기계 학습 모델이 일반적으로이 둘 사이의 좋은 균형을 나타내는 것으로 받아 들여 집니까?
@Winter에 동의합니다 (로지스틱 회귀 분석을위한 탄성 망은 예측 정확도와 설명 가능성 사이의 좋은 타협을위한 예로 볼 수 있음).
다른 종류의 응용 프로그램 도메인 (시계열)의 경우 다른 클래스의 방법도 좋은 절충안을 제공합니다. 베이지안 구조적 시계열 모델링. 그것은 고전적인 구조적 시계열 모델링에서 설명 가능성과 베이지안 접근법의 일부 유연성을 상속합니다. 로지스틱 회귀와 유사하게, 설명은 모델링에 사용 된 회귀 방정식에 의해 도움이됩니다. 마케팅 및 추가 참조에 대한 유용한 응용 프로그램 은 이 백서 를 참조하십시오.
방금 언급 한 베이지안 컨텍스트와 관련하여 확률 적 그래픽 모델을보고 싶을 수도 있습니다. 이들의 설명 가능성은 회귀 방정식에 의존하지 않고 그래픽 모델링 방법에 의존합니다. 자세한 개요는 Koller and Friedman의 "확률 적 그래픽 모델 : 원리 및 기법"을 참조하십시오.
위의 베이지안 방법을 "일반적으로 인정되는 좋은 절충"으로 언급 할 수 있는지 잘 모르겠습니다. 그것들은 특히 탄성 그물 예와 비교할 때 충분히 잘 알려져 있지 않을 수있다.
기계 학습 모델이 일반적으로이 둘 사이의 좋은 균형을 나타내는 것으로 받아 들여 집니까?
나는 예측에 능숙 하다는 것은 데이터에 존재하는 비선형 성을 과적 합하는 데 상당히 견고하면서도 적합 할 수 있음을 의미 한다고 가정합니다 . 해석 성과 비선형 성을 예측할 수있는 것 사이의 상충 관계는 요청 된 데이터와 질문에 따라 다릅니다. 실제로 데이터 과학에는 무료 점심이 없으며 단일 알고리즘이 모든 데이터 세트에 가장 적합한 것으로 간주 될 수 없으며 해석에도 동일하게 적용됩니다.
일반적인 규칙은 알고있는 알고리즘이 많을수록 특정 요구에보다 쉽게 적용 할 수 있기 때문에 알고리즘이 더 우수하다는 것입니다.
비즈니스 환경에서 자주 사용하는 분류 작업에 대해 내가 가장 좋아하는 분류를 선택해야한다면 로지스틱 회귀 분석을 위해 탄력적 그물을 선택 합니다. 데이터를 생성하는 프로세스에 대한 강력한 가정에도 불구하고 기본 로지스틱 회귀 분석에서 해석 성을 유지하는 정규화 용어 덕분에 데이터를 쉽게 채택 할 수 있습니다.
설명 할 수있는 알고리즘의 특성을 열거 한 문헌이 있습니까?
다른 시나리오에서 일반적으로 사용되는 기계 학습 알고리즘과 그들의 장단점을 설명하는 잘 작성된 책을 선택하는 것이 좋습니다. 이러한 책의 예는 T. Hastie, R. Tibshirani 및 J. Friedman 의 통계 학습 요소입니다 .
아마도 앙상블의 불합리한 효과와 설명과 예측의 상충 관계에 대한 나의 대답을 보아라 . 최소 메시지 길이 (MML, Wallace 2005)는 데이터 압축 측면에서 설명에 대한 공식적인 정의를 제공하며 설명이 과적 합없이 일반적으로 적합하고 좋은 설명이 일반적이고 좋은 예측을 생성 할 것으로 기대합니다. 그러나 또한 앙상블이 더 잘 예측할 수 있는 공식적인 이론에 대해서도 다룹니다. 최적의 예측으로 (Solomonoff 1964)로 되돌아 가고 베이지안 방식에 내재 된 결과 : 사후 분포를 통해 통합, 평균, 중간 값, 또는 모드.