회귀 모형의 정의 및 구분

당황스럽게도 간단한 질문이지만 Cross Validated에서 이전에 요청되지 않은 것 같습니다.

회귀 모델의 정의는 무엇입니까?

또한 지원 질문

무엇 되지 회귀 모델은?

후자와 관련하여 ARIMA 또는 GARCH와 같은 대답이 즉시 명확하지 않은 까다로운 예제에 관심이 있습니다.

— 리차드 하디
소스

답변:

"회귀 모델"은 일종의 메타 개념이며, "회귀 모델"의 정의를 찾을 수 없다는 의미에서 "선형 회귀", "비선형 회귀"와 같은보다 구체적인 개념은 "강한 회귀"등. 이것은 수학에서와 같은 방식으로 일반적으로 "숫자"가 아니라 "자연수", "정수", "실수", "p-adic 수"등을 정의하며 누군가가 숫자 중 쿼터니언도 마찬가지입니다! 중요하지 않습니다. 중요한 것은 현재 읽고있는 책 / 종이에서 사용하는 정의입니다.

정의는 도구 와 본질적주의로, 본질 이 무엇인지, 단어가 실제로 무엇을 의미 하는지 거의 논의 하지 않습니다.

그렇다면 "회귀 모델"과 다른 종류의 통계 모델을 구별하는 것은 무엇입니까? 대부분 반응 변수 가 있으며 ,이 변수 는 예측 변수의 일부에 의해 영향을받는 (또는 결정된) 것으로 모델링하려고 합니다 . 우리는 다른 방향에 영향을 미치지 않으며 예측 변수 간의 관계에 관심이 없습니다. 대부분, 우리는 주어진 예측 변수를 랜덤 변수가 아닌 모형의 상수로 취급합니다.

위에서 언급 한 관계는 선형 또는 비선형 일 수 있으며 파라 메트릭 또는 비 파라 메트릭 방식 등으로 지정 될 수 있습니다.

다른 모형을 설명하기 위해 예측 변수에서 측정 오류 가능성을 받아 들일 때 "변수 오류"와 같이 "회귀 모형"에 대해 다른 것을 나타내는 데 종종 사용되는 다른 단어를 살펴 보는 것이 좋습니다. 그것은 위의 "회귀 모델"에 대한 설명에 포함될 수 있지만 종종 대체 모델로 사용됩니다.

또한 필드마다 의미가 다를 수 있습니다 . 회귀 기의 컨디셔닝과 고정 된 것으로 취급하는 것의 차이점 은 무엇입니까?를 참조하십시오 .

반복 : 중요한 것은 현재 읽고있는 저자들이 사용하는 정의이며, 그것이 실제로 무엇인지에 대한 형이상학은 아닙니다.

— 크 제틸 비 할보 르센
소스

나는 당신의 대답의 본질에 동의합니다. 내 질문은 회귀 모델에 대한 진술을 만났으며 그 진술이 실제로 적용되는 내용과 적용되지 않는 것이 무엇인지 궁금해했습니다. 물론, 지금 당신은 "가장 최선의 판단을 사용하고 세부 사항을주의 깊게 점검하십시오"라고 말할 수 있지만 때로는 가설이 제시된 내용을 일반적으로 사실이 아니라고 말하는 즉시 거부하고 싶을 수도 있습니다 (아마도 매우 구체적인 경우에만 해당) . 그런 다음 참조 할 정의가 필요합니다. 물론 정확한 정의가 유용한 상황이 더 많습니다.

— Richard Hardy

그런 다음 언급 한 용도에 대해 구체적으로 질문해야합니다.

— kjetil b halvorsen

나는 까다 롭지 않으려 고 생각하지만, 누군가 당신이 무엇을하고 있는지 묻습니다. "회귀 모델을 사용하여 [뭔가]를 분석 / 예측 / 테스트하고 있습니다." - "회귀 모형이란 무엇입니까?" -(침묵). 또는 입문 경제학 수업에서 상황 "교수, 무엇 이다 ? 회귀 모델" -(답변 없음). 나는 이것이 매우 자연스러운 질문이라고 생각하므로 대답하는 것이 좋을 것입니다.

— Richard Hardy

그렇습니다. 대답하는 것이 좋을 것입니다. 그러나 모두가 동의 할 수있는 정식 답변이 있는지 확실하지 않습니다. 나는 계량 경제학의 텍스트에서와 같이 Seber와 같은 통계 서적에서 "선형 회귀 분석"과는 매우 다른 회귀에 대한 아이디어를 얻었습니다. 그러나 일부 아이디어는 모두 동의 할 수 있습니다. 나는 그것이 실제로 모델의 가족이라고 생각합니다. 그런 다음이 모든 모델의 공통 핵심이 무엇인지 물어볼 수 있습니다.

— kjetil b halvorsen

아마도 당신은 내 관련 질문에 관심이있을 것입니다 : 간단한 선형 회귀 모델의 정의 .

— Richard Hardy

두 가지 좋은 답변이 이미 제공되었지만 2 센트를 추가하고 싶습니다.

회귀 분석의 경우 임의의 변수 및 있습니다. 변수에는 알려지지 않은 분포와 복잡한 공분산 구조가 있습니다. 조건부 분포에만 초점을 맞추거나 다른 변수를 고려할 때 조건부 기대에만 초점을 맞추기 위해이 문제를 단순화 합니다. 우리는 그것을 단순화 $Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

여기서 는 특정 회귀 모형에 따라 다른 형태 (선형, 비선형)를 취할 수있는 예측 변수의 함수이고 는 일반화 된 선형 모형 으로 회귀 모형을 생각할 때 일부 분포의 평균입니다 . GLM에서 는 Poisson, Binomial, Gamma 등 분포의 위치 일 수 있습니다. 정규 회귀 분석을 통해 Laplace 분포의 위치로, Huber 손실을 최소화하는 강력한 모델을 위해 Huber 밀도가 사용됩니다. 사 분위수 회귀 분석의 경우 우리는 분포의 다른 특징에 중점을 둡니다. 우리는 가 분포의 사 분위수 인 것으로 추정 합니다. $f$ $\mu$ $\mu$ $L_1$ $\mu$

따라서 전체 공동 분포를 찾는 대신 조건부 분포에 중점을 둡니다 . 이 단순화는 회귀 모형의 주요 기능입니다. $Y$

— 팀
소스

감사. 직감은 해치지 않습니다. 비록 저에게 물었던 사람을 던질 수있는보다 공식적인 정의를 찾고 있습니다. 어쨌든 회귀 모형은 무엇입니까? 그런 다음 세부 사항을 선택하려고했습니다.

— Richard Hardy

@RichardHardy 나는 이것이 회귀 모델 의 핵심 기능 이라고 생각 합니다.

— 팀

이 답변은 정확하고 유용한 접근 방법이라고 생각하지만, 일반적으로 "회귀"(GLM, 곱셈 오류, 변형 된 반응으로 회귀, Quantile 회귀 등)로 생각되는 상황에 적용 할 수 있도록 일반화해야합니다. 보다 광범위하게, 회귀 모델 은 회귀 변수 값 (특정 범위 내에서 랜덤 또는 고정)으로 반응 의 전체 분포 에 대한 하나 이상의 속성을 지정합니다 . 특히, 예상을 지정하거나 가산 오차를 가정하는 것 이상을 넘어 설 수 있습니다.

y

$y$

— whuber

문헌에 근거한 몇 가지 생각 :

F. 하야시는 그의 고전 대학원 교과서 "Econometrics" (2000)의 1 장 에서 다음과 같은 가정 이 고전 선형 회귀 모델을 구성 한다고 설명합니다 .

선형성
엄격한 외 생성
다중 공선 성이 없음
구면 오차 분산
"고정"회귀

그의 고전적인 도입 계량 경제학 교과서 2 장의 Wooldridge "입문 계량 경제학 : 현대적 접근" (2012)은 다음 방정식 이 간단한 선형 회귀 모형을 정의 한다고 명시하고 있습니다.

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

그의 인기있는 계량 경제학 교과서 "경제 분석" (2011) 2 장의 Greene은

고전적인 선형 회귀 모델 은 기본 "데이터 생성 프로세스"에 의해 데이터 세트가 생성되는 방법에 대한 일련의 가정으로 구성됩니다 .

그리고 하야시와 유사한 가정의 목록을 제공합니다.

GARCH 모델에 대한 OP의 관심과 관련하여, Bollerslev "일반화 된 자기 회귀 조건부 이종성 " (1986)은 섹션 5의 제목과 해당 섹션의 첫 번째 문장에 "GARCH 회귀 모델"이라는 문구를 포함합니다. 따라서 GARCH 모델의 아버지는 GARCH를 회귀 모델이라고 부르지 않았습니다.

— 리차드 하디
소스

세 개의 참조는 모두 선형 회귀 모델로 제한 되지만 질문은 그보다 넓습니다. (따라서이 문제에 대한 관심을 불러 일으킨 다른 게시물에 대한 귀하의 답변에서 이것을 인수로 사용하는 것은 완전히 유효하지 않다고 생각합니다.) 잠재 변수 모델이 회귀 모델이 아니라고 생각하면 즉시 측정 오류와 관련하여 측정 오류가있는 회귀 모델은 더 이상 회귀 모델이 아닙니다. 나에게 이상한 것 같습니다. Wiki는 reg 모델이 라는 의미에서 dep vars와 dep를 관련 시킨다고 말합니다 .

Y \approx f (X, β)

$Y\approx f(X, \beta)$

— hejseb

사실, 나의 예는 선형 회귀 모형에 대한 것입니다. 그것이 널리 사용되고 널리 사용되는이 교과서와 같은 신뢰할 수있는 출처에서 찾을 수 있었던 것입니다. 통계 및 생태 학적 질문에 대해서는 Wikipedia를 믿지 않습니다. 어쨌든 Wikipedia에서도 교과서에서 인용 한 것과 유사한 "기본 가정"장이 있습니다. 다른 게시물과 관련하여 의견의 관련 부분을 게시하여 응답 할 수 있습니까? 이 게시물에서 잠재 가변 모델에 대해서는 아무 말도하지 않았지만 의견을 듣는 것이 좋습니다.

— Richard Hardy

왜 포인트 3, "다공 선성 없음"? 나는 어떤 결과의 증거에서 가정으로 사용 된 것을 본 적이 없다!

— kjetil b halvorsen

@kjetilbhalvorsen, 내가 저자가 아닌 교과서에 쓰여진 것에 대해 책임을지지 마십시오. 그러나 물론 의견에 감사드립니다.

— Richard Hardy