해석 가능한 모델을 원한다면 선형 회귀 이외의 방법이 있습니까?

18

랜덤 포레스트 또는 그래디언트 부스팅과 같은 "ML 모델"은 설명하기 어렵거나 "해석 할 수 없다"고 생각하기 때문에 선형 회귀 분석 이외의 모델을 예측에 사용하지 않는 일부 통계학자가 발생했습니다.

선형 회귀 분석에서 가정 집합이 확인되면 (오류의 정상 성, 균일 성, 다중 공선 성이 없음) t- 검정은 변수의 중요성을 테스트하는 방법을 제공합니다. 내 지식으로는 사용할 수없는 테스트 랜덤 포레스트 또는 그라디언트 부스팅 모델.

따라서 내 질문은 독립 변수 집합으로 종속 변수를 모델링하려는 경우 해석을 위해 항상 선형 회귀를 사용해야합니까?

— 승리자
소스

6

여전히 선형으로 생각하는 것에 달려 있습니다. 일반화 선형 모형 및 일반화 가산 모형은 여전히 추정되는 선형 구성 요소를 기반으로 작동하지만 다양한 관계를 모델링 할 수 있습니다.

— Frans Rodenburg

2

또한 해석 가능하다는 의미에 달려 있습니다. 머신 러닝 모델에는 다양한 방법으로 '블랙 박스를 들여다 보는'방법이 제안되었지만 목표에 적합하지 않을 수도 있습니다.

— user20160

5

나는 IMO가 주로 계수 추정치에 관한 해석 성과 관련이있는 추론 적 통계와 t 검정이 무엇인지 알지 못합니다.

— S. Kolassa-복직 모니카

3

@StephanKolassa "Interretability"는 함수 형식 과도 관련이 있습니다 . 예를 들어 회귀 모델 (선형 회귀, GLM 등)에서 알고리즘의 분수 다항식 곡선 피팅에 의해 생성 된 계수 추정치는 좋은 피팅 을 얻는 동안 거의 확실하게 반 직관적입니다. 형태의 모델에 의해

이므로계수 추정치에 의해 암시 된

와

의 관계를해석합니까?

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis

2

@UserX 설명하는 것은 여전히 선형 회귀입니다 (즉, 매개 변수에서 선형입니다). 대비

와

: 전자는 선형 회귀 모델이며 후자는 선형 회귀를 사용하여 추정 할 수 없습니다.

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— Alexis

29

사람들이 이런 말을한다고 믿기 어렵습니다. 그것은 사용하기 쉽고 예측 가능한 결과를 제공하기 때문에 망치 (드릴링 구멍 포함 및 전구 교체 용) 만 사용하는 것과 같습니다.

둘째, 선형 회귀가 항상 "해석"되는 것은 아닙니다. 다항식 항이 많거나 피처가 많은 선형 회귀 모형이있는 경우 해석하기가 어렵습니다. 예를 들어, MNIST † 의 784 픽셀 각각의 원시 값을 기능으로 사용했다고 가정하십시오 . 픽셀 237의 가중치가 -2311.67과 동일하다는 것을 알고 모델에 대해 알려주십시오. 이미지 데이터의 경우 컨볼 루션 신경망의 활성화 맵을 보는 것이 훨씬 이해하기 쉽습니다.

마지막으로 로지스틱 회귀, 의사 결정 트리, 순진한 베이 즈 알고리즘 등과 같은 해석 가능한 모델이 있습니다.

†- 의견에서 @Ingolifs가 알았 듯이이 스레드 에서 논의 된 것처럼 MNIST는 매우 간단한 데이터 세트이므로 최상의 예가 아닐 수도 있습니다. 대부분의 실제 이미지 데이터 세트의 경우 로지스틱 회귀 분석이 작동하지 않으며 가중치를 보면 간단한 대답을 제공하지 않습니다. 그러나 링크 된 스레드의 가중치를 자세히 살펴보면 해석이 간단하지 않습니다. 예를 들어 "5"또는 "9"를 예측하는 가중치는 명백한 패턴을 표시하지 않습니다 (아래 이미지 참조, 다른 스레드에서 복사 됨) ).

— 팀
소스

2

이 대답 은 MNIST에 대한 로지스틱 회귀를 얼마나 명확하게 설명 할 수 있는지 보여주는 좋은 일이라고 생각합니다.

— Ingolifs

1

@Ingolifs는 동의하지만 이것은 활성화 맵이므로 신경망에 대해서도 동일하게 할 수 있습니다.

— Tim

그것이 무엇인지에 관계없이, 그것은 로지스틱 회귀가 신경망의 활성화 맵을 실제로 얻지 못하는 방식으로 결정을 내리기 위해 사용하는 것에 대한 명확한 설명을 제공합니다.

— Ingolifs

1

@Ingolifs MNIST는 매우 간단하기 때문에 가장 좋은 예는 아니지만 신경 네트워크에 대해 동일한 방법을 사용한다는 것이 핵심입니다.

— Tim

11

의사 결정 트리는 다른 선택입니다. 또는 올가미 회귀를 사용하여 스파 스 시스템을 만듭니다.

통계 학습 입문 서 에서이 수치를 확인하십시오 . http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— 하이 타오 뒤
소스

"ISL"책은 무엇입니까?

— donlan

1

@donlan amazon.com/… 제안 답변 수정 감사합니다.

— Haitao Du

문제 없어요! 이 글을 읽은 후 그것을 보려고 했어요

— donlan

7

나는 Tim과 mkt의 대답에 동의합니다. ML 모델은 반드시 해석 할 수있는 것은 아닙니다. 나는 당신을 지시 할 것이다 서술 기계 학습의 설명, DALEX ML 모델을 만들기에 전념 R 패키지는 해석.

— babelproofreader
소스

1

DALEX 패키지는 실제로 매우 흥미 롭습니다. Python과 비슷한 것이 있는지 알고 있습니까?

— Victor

@Victor DALEX의 Python 버전을 모르지만 rpy2.readthedocs.io/en/version_2.8.x/introduction.html 을 사용하여 Python에서 R을 호출 할 수 있습니다.

— babelproofreader

6

아니요, 불필요하게 제한적입니다. Frans Rodenburg가 말한 것처럼 선형 모델, 일반화 된 선형 모델 및 일반화 된 가산 모델뿐만 아니라 회귀에 사용되는 기계 학습 방법을 포함하여 다양한 해석 가능한 모델이 있습니다. 나는 임의의 숲, 그라디언트 부스트 머신, 신경망 등을 포함합니다. 선형 회귀 분석과 유사한 기계 학습 모델에서 계수를 얻지 못한다고해서 해당 작업을 이해할 수 없다는 의미는 아닙니다. 조금 더 많은 작업이 필요합니다.

이유를 이해하려면이 질문을 읽는 것이 좋습니다 . 임의의 포리스트에서 지식 얻기 . 그것이 보여주는 것은 거의 모든 기계 학습 모델을 해석 가능하게 만드는 방법입니다.

— mkt-복원 모니카
소스