“파라미터의 선형”이란 무엇입니까?

선형 회귀 모형은 모수에서 선형입니다.

이것이 실제로 무엇을 의미합니까?

형태의 방정식을 고려하십시오

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

여기서 는 변수이고 는 매개 변수입니다. 여기서 y는 의 선형 함수 (파라미터의 선형)와 의 선형 함수 (변수의 선형)입니다. 방정식을 다음과 같이 변경하면β β $x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

그런 다음 더 이상 변수에서 제곱항 (제곱 항으로 인해)이 아니라 매개 변수에서 여전히 선형입니다. 그리고 (다중) 선형 회귀의 경우, 결국 손실 함수를 최소화하는 세트를 찾으려고하기 때문에 중요 합니다. 이를 위해서는 선형 방정식 시스템을 풀어야합니다 . 그것의 좋은 속성을 감안할 때, 그것은 우리의 삶을 더 쉽게 만들어주는 폐쇄 형 솔루션을 가지고 있습니다. 비선형 방정식을 다룰 때 상황이 더 어려워집니다.$\beta$

회귀 모델을 다루지 않고 대신 수학적 프로그래밍 문제가 있다고 가정합니다. 제약 조건 세트 및 따라 형식의 목적 함수를 최소화하려고합니다 . 이것은 변수가 선형이라는 점에서 선형 프로그래밍 문제입니다. 회귀 모형과 달리 구속 조건을 만족하고 목적 함수를 최소화하는 (변수) 세트를 찾으려고 합니다. 이것은 또한 선형 방정식 시스템을 풀어야하지만 여기서는 변수가 선형입니다. 매개 변수는 해당 선형 방정식 시스템에 영향을 미치지 않습니다.A x ≥ b x ≥ 0 $c^Tx$$Ax \geq b$$x\geq0$$x$

그것은 단순히 를 의미합니다 . 여기서 는 매개 변수입니다. 변수 는 비선형 관계를 포함 할 수 있습니다. 예를 들어, 이지만 는 의 선형 함수입니다 .$Y = A X$$A$$X$$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

각 항이 상수이거나 모수와 예측 변수의 곱인 경우 모형은 선형입니다. 각 항에 대한 결과를 더하여 선형 방정식을 구성합니다. 이것은 방정식을 하나의 기본 형식으로 제한합니다.

$Response = constant + parameter * predictor + ... + parameter * predictor$

선형 회귀 분석에서 "모수의 선형"은 지수로 나타나거나 다른 매개 변수로 곱하거나 나눈 매개 변수가 없음을 의미합니다.