“선형”대“비선형”회귀를 구별하는 것이 왜 중요한가?

선형 모델과 비선형 모델의 구별의 중요성은 무엇입니까? 질문 비선형 대 일반화 선형 모델 : 어떻게 물류, 포아송 등 회귀를 참조합니까? 그리고 그 대답은 일반화 된 선형 모델의 선형성 / 비선형성에 매우 도움이되었습니다. 비선형 모델과 선형을 구별하는 것이 매우 중요하지만 왜 나에게 명확하지 않습니까? 예를 들어 다음 회귀 모형을 고려하십시오.

모델 1과 2는 모두 선형이며 대한 솔루션 은 닫힌 형태로 존재하며 표준 OLS 추정기를 사용하여 쉽게 찾을 수 있습니다. wrt 의 파생물 이 여전히 함수 이기 때문에 비선형 인 모델 3 및 4의 경우는 그렇지 않습니다 .$\beta$$E[Y\mid X]$$\beta$$\beta$

모델 3에서 을 추정하는 간단한 방법 중 하나 는 를 설정하여 모델을 선형화하고 선형 모델을 사용하여 를 추정 한 다음 를 계산하는 것 입니다.$\beta_1$$\gamma = \beta_1^2$$\gamma$$\beta_1 = \sqrt{\gamma}$

모형 4의 모수를 추정하기 위해 가 이항 분포 (지수 패밀리의 구성원)를 따르는 것으로 가정 하고 모형의 로지스틱 형태가 표준 연결이라는 사실을 사용하여 모형의 rh을 선형화합니다. 이것은 Nelder와 Wedderburn의 중요한 공헌이었습니다.$Y$

그러나 왜이 비선형 성이 문제가 되는가? 왜 제곱근 함수를 사용하여 선형화하지 않고 모델 3을 해결하기 위해 반복 알고리즘을 사용하거나 GLM을 호출하지 않고 모델 4를 사용할 수없는 이유는 무엇입니까? 나는 전산 력이 널리 퍼지기 전에 통계 학자들이 모든 것을 선형화하려고했다고 생각한다. 사실이라면, 비선형성에 의해 도입 된 "문제"는 과거의 잔재일까요? 비선형 모델에 의해 도입 된 합병증은 단순히 계산적이거나 비선형 모델이 선형 모델보다 데이터에 맞추기가 더 어려운 다른 이론적 문제가 있습니까?

두 가지 주요 차이점을 볼 수 있습니다.

• 선형성은 단순하고 강력합니다. 예를 들어, (선형) OLS는 알 수없는 교란 분포 하에서 바이어스되지 않은 추정기입니다. 일반적으로 GLM 및 비선형 모델은 그렇지 않습니다. OLS는 비선형 모델에서 일반적으로 이러한 항의 정확한 분포를 가정해야하는 다양한 오류 구조 모델 (무작위 효과, 군집 등)에도 강력합니다.

• 한 번의 행렬 곱셈 + 1의 역행으로 쉽게 해결할 수 있습니다. 즉, 목적 함수가 거의 평평한 경우에도 (다중 공선 성) 경우에도 거의 항상 해결할 수 있음을 의미합니다. 요즘에는 문제가되지 않습니다. 컴퓨터는 빨라지지만 데이터는 커집니다. 1G 관측치에서 로짓 회귀 분석을 시도한 적이 있습니까?

그 외에도 선형 모델은 해석하기가 더 쉽습니다. 선형 모델에서 한계 효과는 계수와 같고 X 값과 무관합니다 (다항식 항이이 단순성을 망치더라도).

생물학 (및 기타 분야)의 많은 모델은 비선형이므로 비선형 회귀에 가장 적합합니다. 물론 수학은 매우 다릅니다. 그러나 데이터 분석가의 관점에서 볼 때 중요한 차이점은 하나뿐입니다.

비선형 회귀 분석에는 각 모수에 대한 초기 추정값이 필요합니다. 이러한 초기 추정치가 벗어나면 비선형 회귀 프로그램이 최소값으로 수렴하여 쓸모 없거나 오해의 소지가있는 결과를 제공 할 수 있습니다.

먼저 '모델'이라는 단어를 '회귀'라는 단어로 대체하려고합니다. 나는 두 단어 모두에 대해 모델을 정의하는 관련 방정식이 무엇인지, 종속 변수의 값과 방정식 / 모델에 의해 예측되는 값에 관한 관련 가설이 무엇인지 실제로 묻고 있다고 생각합니다. '모델'이라는 용어가 더 표준 적이라고 생각합니다. 이에 동의하면 계속 읽으십시오.

나는 고전적으로 훈련 된 영아 및 통계학자인 동료의 의견에 대한 성찰에 대한이 답변에 정말로 빚진 것입니다. 그는 다항식 회귀 분석을 비선형이라고하는 책에 강력하게 반대했으며, 비선형 모델에 대해 더 진지하게 읽었습니다. 정답은 선형 모델은 오류 항이 가우시안이라고 가정하고 일반화 된 선형 모델은 오류 항에 대해보다 일반화 된 형식을 가정한다는 것입니다. 경우 기능의 설정은 다음 하나에 선형 모델을 구성을 시도 할 수 . 예를 들어 이면 다항식 회귀가 발생합니다. 차이 경우 선형 모형$\phi_1, \ldots, \phi_n$$\phi_1, \ldots, \phi_n$$\phi_i = x^i$$\epsilon_i = y_i - \sum a_{ij}x^j$가우시안입니다. Imho, Wikipedia에는 ​​일반적인 선형 모델에 대한 매우 합리적인 설명이 있다고 생각합니다. 이것이 핵심 문장이라고 생각합니다. "GLM은 선형 모델을 링크 함수를 통해 응답 변수와 관련시키고 각 측정의 분산 크기를 예측 값의 함수로 허용함으로써 선형 회귀를 일반화합니다. " 따라서 glm은보다 일반적인 오류 용어를 허용합니다. 이를 통해 모델링의 유연성이 향상됩니다. 가격 ? 올바른 모델을 계산하기가 더 어렵습니다. 더 이상 계수를 계산하는 간단한 방법이 없습니다. 선형 회귀 계수는 고유 한 mimimum을 갖는 2 차 함수를 최소화하여 찾을 수 있습니다. Borat의 말에 따르면, glm 별로는 그렇지 않습니다. 하나를 계산해야하고