문제는 매우 간단합니다. 왜 선형 또는 비선형 데이터에 모델을 맞추려고 할 때 일반적으로 모델 매개 변수에 대한 추정값을 얻기 위해 오차 제곱의 합을 최소화하려고합니까? 최소화하기 위해 다른 목적 함수를 선택하지 않겠습니까? 기술적 인 이유로 2 차 함수는 다른 함수 (예 : 절대 편차의 합)보다 우수하다는 것을 이해합니다. 그러나 이것은 여전히 설득력있는 답변이 아닙니다. 이 기술적 이유 외에, 특히 사람들이이 '유클리드 타입'거리 기능을 선호하는 이유는 무엇입니까? 그것에 대한 특별한 의미 나 해석이 있습니까?
내 생각의 논리는 다음과 같습니다.
데이터 집합이있는 경우 먼저 일련의 기능적 또는 분포 가정 (일부 모멘트 조건이지만 전체 분포는 아님)을 만들어 모델을 설정합니다. 모델에는 몇 가지 매개 변수가 있으며 (매개 변수 모델이라고 가정) 이러한 매개 변수를 일관되게 추정 할 수있는 방법을 찾아야합니다. 추정기의 분산이 낮고 다른 좋은 속성이 있기를 바랍니다. SSE 또는 LAD 또는 다른 목적 함수를 최소화하든 일관된 견적 도구를 얻는 방법이 다르다고 생각합니다. 이 논리에 따르면 사람들이 최소 제곱을 사용해야한다고 생각했습니다 .1) 모델의 일관된 견적을 생성합니다 .2) 내가 모르는 다른 것.
계량 경제학에서 우리는 선형 회귀 모형에서 오차 항이 예측 변수에 대해 0의 평균 조건을 가지고 있고 동질성과 오차가 서로 관련이 없다고 가정하면 제곱 오차의 합을 최소화하면 모형의 일관성있는 추정값을 얻을 수 있습니다 가우스-마코프 정리에 의해이 추정기는 BLUE입니다. 따라서 이것은 SSE가 아닌 다른 목적 함수를 최소화하도록 선택하면 모델 매개 변수의 일관된 추정값을 얻을 것이라는 보장이 없습니다. 이해가 정확합니까? 그것이 맞다면, 다른 목적 함수보다는 SSE를 최소화하는 것이 일관성에 의해 정당화 될 수 있는데, 이는 실제로 이차 함수가 더 좋다고 말하는 것보다 낫습니다.
실제로, 나는 사람들이 먼저 완전한 모형, 예를 들어, 오차 항에 대한 분포 가정 (모멘트 가정)을 명확하게 지정하지 않고 제곱 오차의 합을 직접 최소화하는 많은 경우를 보았습니다. 그런 다음이 방법을 사용하는 사용자는 제곱 거리 함수 측면에서 데이터가 '모델'(모델 가정이 불완전하기 때문에 따옴표를 사용하는 방법)에 얼마나 가까운 지 확인하려고합니다.
관련 질문 (이 웹 사이트와도 관련)은 교차 검증을 사용하여 다른 모델을 비교하려고 할 때 SSE를 다시 판단 기준으로 사용합니까? 즉, SSE가 가장 적은 모델을 선택 하시겠습니까? 왜 다른 기준이 아닌가?
