“최소 제곱”과“선형 회귀”는 동의어입니까?

최소 제곱과 선형 회귀의 차이점은 무엇입니까? 같은 것입니까?

regression least-squares terminology

— 바 베이 리나
소스

나는 보통 최소 제곱이 더 넓은 범주의 선형 회귀 범주 내에서 하나의 추정 방법이라고 말하고 싶습니다 . 일부 저자는 마치 "최소 제곱"과 "선형 회귀"를 서로 교환 가능한 것처럼 사용할 수 있습니다.

— Matthew Gunn 's

당신이하고있는 경우 정규 방정식을 , 그 용어를 사용하십시오. 덜 모호합니다.

— Matthew Gunn 's

회귀 모델이란 무엇입니까?를 참조하십시오 .

— Richard Hardy 17

답변:

선형 회귀 분석은 독립 변수와 종속 변수 간의 선형 관계를 가정합니다. 모델이 어떻게 장착되는지 알려주지 않습니다. 최소 제곱 피팅은 단순히 가능성 중 하나입니다. 선형 모델을 훈련시키는 다른 방법은 주석에 있습니다.

비선형 최소 제곱이 일반적입니다 ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). 예를 들어, 인기있는 Levenberg–Marquardt 알고리즘은 다음과 같은 문제를 해결합니다.

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

최소 제곱 최적화이지만 모형이 선형이 아닙니다.

그들은 같은 것이 아닙니다 .

— 헬로 월드
소스

@Student T의 정답 외에도 최소 제곱은 최적화 문제의 잠재적 손실 함수이며 선형 회귀는 최적화 문제라는 점을 강조하고 싶습니다.

특정 데이터 집합이 주어지면 선형 회귀는 변수 간의 연결을 설명하는 가장 좋은 선형 함수를 찾는 데 사용됩니다.

이 경우 가능한 "최상의"는 손실 함수에 의해 결정되며 선형 함수의 예측 된 값을 데이터 세트의 실제 값과 비교합니다. 최소 제곱은 가능한 손실 함수입니다.

최소 제곱 의 Wikipedia 기사는 오른쪽에 그림과 같이 선형 회귀 이외의 다른 문제에 대해 최소 제곱을 사용하여 표시합니다.

원추형 피팅
이차 함수 피팅

Wikipedia 기사의 다음 gif는 최소 제곱을 사용하여 데이터 세트에 적합한 여러 가지 다항식 함수를 보여줍니다. 그중 하나만 선형입니다 (다항식 1). 이것은 독일 위키 백과 기사 에서 주제 로 가져 왔습니다 .

— 니콜라스 리블
소스

애니메이션의 비선형 예제는 실제로 매개 변수에서 여전히 선형이라고 주장 할 수 있습니다.

— Firebug

그러나 목표와 입력 변수 사이의 모델 관계는 비선형입니다. 피팅을 "선형 회귀"라고 부르시겠습니까? 내가 않을 것.

— Nikolas Rieble

우리는 "선형 최소 제곱"과 "선형 회귀"를 구별해야합니다. 둘의 형용사 "선형"은 서로 다른 것을 지칭하기 때문입니다. 전자는 매개 변수에서 선형 인 적합을 나타내고 후자는 독립 변수의 선형 함수 인 모형에 적합 함을 나타냅니다.

— JM은 통계학자가 아닙니다.

@JM 많은 출처는 "선형"회귀에서 "선형"이 "IV의 선형"이 아니라 "파라미터의 선형"을 의미한다고 주장합니다. 선형 회귀 에 관한 위키피디아 기사 는 예제입니다. 여기 또 다른 과 다른 . 많은 통계 텍스트가 동일하게 수행됩니다. 나는 그것이 컨벤션이라고 주장합니다.

— Glen_b -Reinstate 모니카

y = m x + b

$y=mx+b$