의사 결정 트리 알고리즘이 선형 또는 비선형입니까?

21

최근 내 친구가 인터뷰에서 의사 결정 트리 알고리즘이 선형 또는 비선형 알고리즘인지 물었습니다. 이 질문에 대한 답을 찾으려고했지만 만족스러운 설명을 찾지 못했습니다. 누구 든지이 질문에 대한 해결책에 대답하고 설명 할 수 있습니까? 또한 비선형 기계 학습 알고리즘의 다른 예는 무엇입니까?

— 사용자 2966197
소스

어떤 맥락에서 회귀, 선형으로 분리 가능한 데이터를 의미합니까?

— image_doctor

1

그들은 아마도 계급 사이의 경계를 의미했을 것입니다. 초평면으로 구성되어 있습니까?

— Emre

17

의사 결정 나무의 비선형 매핑 X에 y. 이것은 임의의 기능을 사용하고 최대 깊이까지 트리를 만드는지 쉽게 알 수 있습니다.

예를 들면 다음과 같습니다.

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

물론 이것은 완전히 과적 합 된 트리이며 일반화되지 않습니다. 그러나 의사 결정 트리가 비선형 매핑 인 이유를 보여줍니다.

— 전도
소스

10

최근에 내 친구가 인터뷰에서 의사 결정 트리 알고리즘이 선형 또는 비선형 알고리즘인지 물었습니다.

의사 결정 트리는 신경망 등과 같은 비선형 분류기입니다. 일반적으로 비선형으로 분리 가능한 데이터를 분류하는 데 사용됩니다.

회귀 예제를 고려하더라도 의사 결정 트리는 비선형입니다.

예를 들어 선형 회귀선은 다음과 같습니다.

빨간 점은 데이터 점입니다.

의사 결정 트리 회귀 플롯은 다음과 같습니다.

따라서 의사 결정 트리는 비선형입니다.

— Dawny33
소스

나무의 깊이를 늘리면 더 많은 피팅이 생겨 비선형 구조가됩니다.

— Dawny33

3

의사 결정 트리는 선형이 아닙니다. 선형 회귀와 달리 독립 변수와 종속 변수 사이의 관계를 나타내는 방정식은 없습니다.

전의:

선형 회귀-과일 가격 = b0 + b1 * Freshness + b2 * Size

의사 결정 트리-노드 : 익은-예 또는 아니오 | 신선-예 또는 아니오 | 크기-<5,> 5이지만 <10 및> 10 |

두 번째 경우에는 독립 변수와 종속 변수 사이에 선형 관계가 없습니다.

3

많은 사람들이 지적했듯이 회귀 / 결정 트리는 비선형 모델입니다. 그러나 그것은 선형 모델입니다. 각 이웃 (비선형 방식으로 정의)에서는 선형입니다. 실제로 모델은 지역 상수 일뿐입니다.

가장 간단한 경우, 하나의 변수와 하나의 노드로 이것을 보려면 $\theta$ 트리는 선형 회귀 로 작성 될 수 있습니다 .

{와이}_{나는} = α_{1} 1 ({엑스}_{나는} < θ) + α_{2} 1 ({엑스}_{나는} \geq θ) + ϵ_{나는}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

어디에 $1(A)$ 인디케이터 기능으로, 이벤트 A가 참이면 1을, 그렇지 않으면 0을 취합니다.

— 마티 포
소스

2

의사 결정 트리는 비선형 분류기입니다. 데이터 세트에 일관된 샘플이 포함 된 경우, 즉 동일한 입력 기능과 모순 레이블이없는 경우 의사 결정 트리는 데이터를 완전히 분류하여 과적 합할 수 있습니다. 더 명확히하기 위해 $VC$ 의사 결정 트리의 차원은 $2^d$ 어느 $d$ 이진 기능의 수입니다. 결과적으로 가설 공간은 $2^{2^d}$ 의사 결정 트리를 사용하여 처리 할 수있는 다양한 가능성. 중요한 점 중 하나는 의사 결정 트리가 가질 수있는 가능한 잎 수입니다. 당신이 가지고 있다고 가정 $m$ 와 샘플 $d$ 이진 기능. 각각의 수량에 따라 가능성의 수는 $min(2^d, m)$ . 의사 결정 트리는 선형으로 분리 가능한지 여부에 관계없이 훈련 데이터 세트에 과다 적합 할 수 있으며, 사람들 은 나무를 가지 치기 ID3또는 C4.5가지 치기 또는 나무의 높이와 길이에 대한 임계 값을 설정하여 과적 합하지 않습니다. 데이터.

— 미디어
소스