의사 결정이 선형 모델입니까?

의사 결정 그루터기는 분할이 하나 뿐인 의사 결정 트리입니다. 조각 별 함수로 작성할 수도 있습니다.

예를 들어, 가정 벡터이며, 첫 번째 요소 인 회귀 환경에서, 일부 결정이 될 수 루터 $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

그러나 선형 모델입니까? 로 쓸 수있는 곳은 어디 입니까? 이 질문은 답과 주석에서 언급했듯이 부분 함수를 플롯하면 선이 아니기 때문에 이상하게 들릴 수 있습니다. 이 질문을하는 이유는 다음 섹션을 참조하십시오. $f(x)=\beta^T x$

편집하다:

내가이 질문을하는 이유는 로지스틱 회귀가 (일반화 된) 선형 모형이고 의사 결정 경계는 의사 결정 그루터기에 대한 선이다. : 주, 우리는 또한이 질문이 왜 로지스틱 회귀는 선형 모델을? . 반면에 의사 결정 그루터기가 선형 모델이라는 것은 사실이 아닌 것 같습니다.

내가 물었던 또 다른 이유는이 질문 때문입니다 . 부스팅에서 기본 학습자가 선형 모델 인 경우 최종 모델은 단순한 선형 모델입니까? 여기서 선형 모델을 기본 학습자로 사용하면 선형 회귀 이상을 얻지 못합니다. 그러나 기본 학습자를 의사 결정 그루터기로 선택하면 매우 흥미로운 모델이됩니다.

다음은 2 가지 특징과 1 개의 연속 반응으로 회귀에 대한 의사 결정 그루터기 향상의 한 예입니다.

— 하이 타오 뒤
소스

왜 선형이라고 생각하십니까?

— Tim

@ hxd1011 여기에서 결정 경계와 결정 기능을 구분하는 것이 중요합니다

— shadowtalker

1에서 1000까지의 모든 순서가 0 인 1000 차 다항식이라고 할 수 있습니다. 나는 그것을 0 차 (일명 상수) 모델이라고 부를 수 있으며, 주요 특징을 간결하게 전달할 것이다. 클래식 트리는 조각 단위로 일정합니다. 그루터기 인 사소한 나무는 한쪽의 모형이 일정하고 다른 쪽이 다른 상수 인 공간에서 단일 분할입니다. 전 세계적으로 일정하지는 않지만 poly1도 아닙니다. R의 "입방체"라이브러리는 상수 모델 대신 실제 선형 (poly1) 모델에 적합합니다. 시도해 볼 수 있습니다.

— EngrStudent-복직 모니카

는 평면 위에 선을 그리면 (Y = 0 말한다)을 가지고 임의의 함수 그리고, 받는 실제 선 (평행 등고선 것이다 축을 )이지만 선형 함수 는 아닙니다 .

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— Matthew Drury

이것은 이상한 질문입니다. 예제에서 함수를 플로팅 할 수 있습니까 (x <2의 경우 3, x> 2의 경우 5)? 보세요-직선인가요? 직선이 아닌 경우 선형 함수가 아닙니다.

— amoeba는

답변:

데이터를 변환하지 않는 한 아닙니다.

인디케이터 함수를 사용하여 를 변환하면 선형 모델입니다 . $x$

{엑스}^{'} = 나는 ({엑스 > 2}) = {\begin{cases} \begin{aligned} 0 & 엑스 \leq 2 \\ 1 & 엑스 > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

그런 다음 $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

편집 : 이것은 의견에 언급되었지만 여기에서도 강조하고 싶습니다. 데이터를 두 조각으로 분할하는 모든 함수는 인터셉트 및 단일 입력 (데이터 포인트가있는 파티션의 "측면"표시기)을 사용하여이 형식의 선형 모델로 변환 할 수 있습니다. 의사 결정 기능 과 의사 결정 경계 의 차이를 기록하는 것이 중요합니다 .

— 그림자 추적자
소스

"변신"은 까다 롭다. 신경망 (MLP)은 비선형이라고 생각하지만 변환 후에는 선형이다 ..

— Haitao Du

그것은 이다 매개 변수의 선형 모델. 그리고 인 더미의 아핀 선형 .

x^{'}

$x'$

— Michael M

@MichaelM 매개 변수에서 어떻게 선형입니까? 난 당신의 선택을 의미한다 "매개 변수"에 의해 가정

x \leq 2

$x \leq 2$

— shadowtalker

@ hxd1011 대답은 "데이터를 변환하지 않는 한 아니오"입니다

— shadowtalker

"마지막 주석에서 데이터를 변환하지 않는 한"을 포함하도록 답변을 편집하는 것이 좋습니다. 현재 시작 단어는 "선형 모델"이며 사람들은 혼란 스러울 수 있습니다.

— amoeba는

질문에 대한 답변 :

의사 결정 그루터기는 선형 모델 이 아닙니다 .
모델이 선형이 아닌 경우에도 결정 경계는 선이 될 수 있습니다. 로지스틱 회귀가 예입니다.
강화 된 모델은 기본 학습자와 동일한 종류의 모델 일 필요는 없습니다. 그것에 대해 생각하면 부스팅의 예와 관련된 질문은 의사 결정 그루터기가 선형 모델이 아님을 증명합니다.

— under 치
소스

이 답변은 질문에 대답하는 데 필요한 것보다 더 장황합니다. 나는 실제 전문가의 의견을 자극하기를 희망합니다.

나는 한때 법정에 있었고 판사가 물었다. (우리가 개 꼬리를 다리라고 부른다면 개가 5 개의 다리를 가지고 있다는 것을 의미 하는가? 선형 모델이란 무엇입니까?

통계의 맥락에서 나는 선형 모델은 함수의 집합 형식의 함수로 구성된 통계 모델을 의미한다고 전문가에게 들었습니다 . 오류 용어는 독립적이며 정규 분포입니다. 이 정의를 사용하면 오류 항에 대한 정보가 없으므로 모델이 선형인지 말할 수 없습니다. 오류 항 제약 조건을 삭제하면 사용자가 제공 한 기능 또는 ssdecontrol이 제공하는 기능에서 타계 학적으로 선형입니다. 그러나이 질문의 맥락에서 순진하게, 그것은 불만족 스러울 수 있습니다. 그런 의미에서 모든 함수는 선형의 기초로 간주 될 수 있습니다. 함수의 모든 공간을 함수의 벡터 공간으로 바꿀 수 있기 때문입니다. $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$

코를 요구하는 경우, 수학적으로 함수가 선형이면 대답은 아니오입니다. 선형 함수는 그래프가 직선 인 함수이지만 분명히 함수에는 해당 속성이 없습니다. 마지막에 포즈를 취하는 질문에 대한 답으로, 그것은 찾을 수 있으므로 이고 그렇지 않습니다. $\beta$ $f(x) = \beta^{T} x$

제공하는 클래스의 모든 함수는 (실수) 및 대해 를 충족시킵니다 . 함수가 및 충족 하므로 함수가 형식 인 경우 필요한 . 선형 함수를 제안하는 클래스는 일반적으로 선형 함수라는 하위 클래스입니다. $f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— meh
소스

선형성은 오류 항과 관련이 없습니다. 매개 변수 의 선형 조합으로 구성되어 있다는 사실과 관련이 있습니다 . 이것은 2D 공간에서 직선을 나타냅니다 (그러나 더 일반적으로 평면을 나타냄).

— shadowtalker

@ ssdecontrol-나는 단지 박사 학위 확률을 말할 수 있습니다. (그리고 Kolmogorov의 학생)은 통계에 사용될 때 '선형 모델'이라는 용어에는 오류 항에 대한 진술이 포함되어 있다고 나에게 주장했다. 나는 실제로이 견해가 얼마나 흔한 지에 매우 관심이있다. 선형에는 많은 의미가 있습니다. 예를 들어, N 공간 방정식이있는 경우, 제로 세트가 초평면이면 선형이라고 말할 수 있습니다. 물론 그것은 합니다. 그러나 함수는 선형 즉 입니다.

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

— meh

그것이 그가 주장하는 것이라면, 그것은 그의 견해이며 어떤 종류의 어려운 사실이 아닙니다. 내가 아는 한 "선형 모델"에 대한 엄격한 정의가 없으며 내 마음에 하나도 필요하지 않습니다. 저에게 오류 용어가 있다는 사실은 모델을 "선형 모델"에서 "통계 선형 모델"로 바꾼 것입니다. 나는 그녀의 용어에 대해 본질적으로 선형적인 것을 보거나 선형 모델에 대해 본질적으로 통계적인 것을 보지 않습니다.

— shadowtalker

오류 용어의 존재를 주장하는 IMO는 단지 말, 공학 또는 물리학자가 결정 론적 물리적 프로세스의 "선형 모델"로 간주 할 수있는 것을 할인합니다.

— shadowtalker