이 경우 최소 제곱 솔루션의 결과가 좋지 않은 이유는 무엇입니까?

21

Bishop의 "패턴 인식 및 머신 러닝"4 장 204 페이지 4 장에 최소 사각형 솔루션이 왜 나쁜 결과를 제공하는지 이해하지 못하는 이미지가 있습니다.

여기에 이미지 설명을 입력하십시오

이전 단락은 다음 이미지에서 볼 수 있듯이 최소 제곱 솔루션이 특이 치에 대한 견고성이 부족하다는 사실에 관한 것이었지만 다른 이미지에서 진행되는 일을 얻지 못하고 LS가 결과가 좋지 않은 이유를 알 수 없습니다.

여기에 이미지 설명을 입력하십시오

classification least-squares

— 길리
소스

이것은 세트 간의 차별에 관한 장의 일부인 것 같습니다. 첫 번째 그래프 쌍에서 왼쪽에있는 그래프는 세 점 세트를 명확하게 구분하지 못합니다. 그 질문에 대답합니까? 그렇지 않다면 그것을 명확히 할 수 있습니까?

— Peter Flom-Monica Monica 복원

@ PeterFlom : LS 솔루션은 첫 번째 결과가 좋지 않습니다. 이유를 알고 싶습니다. 그리고 그렇습니다, 그것은 전체 장이 선형 판별 함수에 관한 LS 분류에 관한 섹션의 마지막 단락입니다.

— Gigili

6

$\geq 3$

에서는 ESL , 105 페이지도 4.2 현상이라고 마스킹 . ESL 그림 4.3도 참조하십시오. 최소 제곱 솔루션은 미드 델 클래스에 대한 예측 변수를 생성하며, 다른 두 클래스에 대한 예측 변수가 대부분 지배합니다. LDA 또는 로지스틱 회귀는이 문제로 고통받지 않습니다. 마스킹을 유발하는 클래스 확률의 선형 모델 (기본적으로 최소 제곱 피팅에서 얻는 것)의 견고한 구조라고 말할 수 있습니다.

$-$

편집 : 마스킹은 아마도 2 차원 문제에 대해 가장 쉽게 시각화되지만 1 차원 경우에서도 문제이며 수학은 특히 이해하기 쉽습니다. 1 차원 입력 변수가 다음과 같이 정렬되었다고 가정하십시오.

{엑스}_{1} < \dots < {엑스}_{케이} < {와이}_{1} < \dots {와이}_{엠} < 지_{1} < \dots < 지_{엔}

$x_1 < \ldots < x_k < y_1 < \ldots y_m < z_1 < \ldots < z_n$

$x$ $y$ $z$

\begin{array}{ccccccccc} 1 & \dots & 1 & 0 & \dots & 0 & 0 & \dots & 0 \\ 티^{티} & 0 & \dots & 0 & 1 & \dots & 1 & 0 & \dots & 0 \\ 0 & \dots & 0 & 0 & \dots & 0 & 1 & \dots & 1 \\ {엑스}^{티} & {엑스}_{1} & \dots & {엑스}_{케이} & {와이}_{1} & \dots & {와이}_{엠} & 지_{1} & \dots & 지_{엔} \end{array}

$\begin{array}{c|cccccccc} & 1 & \ldots & 1 & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \mathbf{T}^T & 0 & \ldots & 0 & 1 & \ldots & 1 & 0 & \ldots & 0 \\ & 0 & \ldots & 0 & 0 & \ldots & 0 & 1 & \ldots & 1 \\ \hline \mathbf{x}^T & x_1 & \ldots & x_k & y_1 & \ldots & y_m & z_1 & \ldots & z_n \\ \end{array}$

$\mathbf{T}$ $\mathbf{x}$ $x$ $z$ $y$ -class의 경우, 선형 회귀는 두 개의 외부 클래스에 대한 0과 중산층에있는 0의 균형을 맞출 필요가 있습니다. 결과적으로 다소 평평한 회귀선과이 클래스에 대한 조건부 클래스 확률의 적합도가 떨어집니다. 결과적으로 두 개의 외부 클래스에 대한 최대 회귀선은 입력 변수 값의 대부분에 대해 중간 클래스에 대한 회귀선을 지배하며 중간 클래스는 외부 클래스에 의해 가려 집니다.

여기에 이미지 설명을 입력하십시오

$k = m = n{}$ $(\bar{x}, 1/3)$

\bar{엑스} = \frac{1}{삼 케이} ({엑스}_{1} + \dots + {엑스}_{케이} + {와이}_{1} + \dots + {와이}_{엠} + 지_{1} + \dots + 지_{엔}) .

$\bar{x} = \frac{1}{3k}\left(x_1 + \ldots + x_k + y_1 + \ldots + y_m + z_1 + \ldots + z_n\right).$

— NRH
소스

2

아래 제공된 링크를 기준으로 LS 판별자가 왼쪽 상단 그래프에서 성능이 좋지 않은 이유는 다음과 같습니다
.-이상치에 대한 견고성 부족.
-최소 제곱 분류에 적합하지 않은 특정 데이터 세트.
-결정 경계는 가우스 조건부 분포에서 ML 솔루션에 해당합니다. 그러나 이진 목표 값은 가우시안에서 멀리 분포합니다.

최소 제곱의 단점 에서 13 페이지를 참조하십시오 .

— 통계
소스

1

첫 번째 그래프의 문제는 "마스킹"이라고하며 "통계학 학습 요소 : 데이터 마이닝, 추론 및 예측"(Hastie, Tibshirani, Friedman. Springer 2001), 83-84 페이지에 언급되어 있습니다.

직관적으로 (내가 할 수있는 최선의 방법) 나는 이것이 OLS 회귀 예측이 [0,1]로 제한되지 않기 때문에 실제로 0과 더 원할 때 -0.33의 예측으로 끝날 수 있다고 생각합니다. 2, 두 클래스의 경우에는 세부 사항이 있지만 클래스가 많을수록이 불일치 문제가 발생할 가능성이 높습니다. 내 생각에

— 웨인
소스

1

최소 제곱은 스케일에 민감합니다 (새로운 데이터는 다른 스케일이므로 결정 경계를 왜곡합니다), 일반적으로 가중치를 적용하거나 (최적화 알고리즘에 입력 할 데이터가 동일한 스케일임을 의미) 적절한 변환을 수행해야합니다. 이러한 경우 데이터에 대한 (중앙 중심, 로그 (1+ 데이터) ... 등). 3 개의 분류 작업을 요청하고 결국 두 개의 출력 클래스를 병합하도록 요청하면 Least Square가 완벽하게 작동하는 것 같습니다.

— dfhgfh
소스