랜덤 효과, 고정 효과 및 한계 모델의 차이점은 무엇입니까?

통계에 대한 지식을 넓히려 고합니다. 나는 통계 테스트에 대한 "레시피 기반"접근 방식을 가진 물리 과학 배경에서 나왔습니다. 우리 는 그것이 연속적 이라고 말하지만 , 그것은 정상적으로 분포되어 있습니까 -OLS 회귀 .

내 독서에서 나는 랜덤 효과 모델, 고정 효과 모델, 한계 모델이라는 용어를 보았습니다. 내 질문은 :

• 아주 간단한 용어로 무엇입니까?
• 그들 사이의 차이점은 무엇입니까?
• 그들 중 동의어가 있습니까?
• OLS 회귀, ANOVA 및 ANCOVA와 같은 전통적인 테스트는이 분류에서 어디에 속합니까?

자기 연구로 다음에 갈 곳을 결정하려고합니다.

이 질문은이 사이트에서 아래와 같이 부분적으로 논의되었으며 의견이 혼동 된 것 같습니다.

• 고정 효과, 임의 효과 및 혼합 효과 모델의 차이점은 무엇입니까?
• 랜덤 효과와 고정 효과의 수학적 차이점은 무엇입니까?
• 고정 / 무작위 효과 모델의 개념

모든 용어는 일반적으로 종단 / 패널 / 클러스터 / 계층 데이터 및 반복 측정 (고급 회귀 및 분산 분석 형식)과 관련이 있지만 문맥에 따라 여러 가지 의미가 있습니다. 내 지식을 바탕으로 수식으로 질문에 대답하고 싶습니다.

고정 효과 모델

• 생물 통계학에서 아래 방정식 (*)에서 로 표시되는 고정 효과 는 일반적으로 임의 효과와 함께 나타납니다. 그러나 고정 효과 모형은 관측 값이 Hedeker and Gibbons (2006)의 종단 데이터 분석 에서와 같이 단면 설정과 같이 독립적이라고 가정하도록 정의되었다 .$\color{red}{\boldsymbol\beta}$
• 계량 경제학에서 고정 효과 모델은 여기서 는 각 대상 ( ) 에 대해 고정 (임의가 아님) 인터셉트 이거나 각 반복 측정 ( ) 에 대해 와 같은 고정 효과를 가질 수도 있습니다 . 공변량을 나타냅니다. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• 메타 분석에서 고정 효과 모델은 모든 연구에서 기본 효과가 동일하다고 가정합니다 (예 : Mantel and Haenszel, 1959).

랜덤 효과 모델

• 생물 통계학에서 랜덤 효과 모델 (Laird and Ware, 1982)은 로 쓸 수 있습니다 여기서 은 분포를 따르는 것으로 가정합니다. 는 고정 효과에 대한 공변량을 나타내고 는 임의 효과에 대한 공변량을 나타냅니다. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• 계량 경제학에서 랜덤 효과 모델은 생물 통계학에서와 같이 랜덤 인터셉트 모델 만 참조 할 수 있습니다 . 즉 이고 는 스칼라입니다.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• 메타 분석에서 무작위 효과 모델은 여러 연구에서 이종 효과를 가정합니다 (DerSimonian and Laird, 1986).

한계 모델

한계 모형은 일반적으로 조건부 모형 (무작위 효과 모형)과 비교되며, 전자는 모집단 평균 (예를 들어 선형 모형을 취함)에 중점을 둡니다. 후자는 조건부 평균한계 모델과 랜덤 효과 모델 사이의 회귀 계수 해석 및 스케일은 비선형 모델 (예 : 로지스틱 회귀)에 따라 다릅니다. 하자 , 다음

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ 링크 함수 가 아이덴티티 링크 (선형 모델이 아닌 경우 아닌 한 ) 또는 (임의의 영향 없음). 좋은 예는 일반화 된 추정 방정식 (GEE; Zeger, Liang and Albert, 1988)과 주 변화된 다단계 모델 (Heagerty and Zeger, 2000)을 포함합니다.$h$$u_i=0$

내가 틀렸다면 바로 수정하십시오.

개념적으로 고정 인터셉트, 고정 계수, 랜덤 인터셉트, 랜덤 계수의 네 가지 가능한 효과가 있습니다. 대부분의 회귀 모형은 '무작위 효과'이므로 임의 절편과 임의 계수가 있습니다. '랜덤 효과'라는 용어는 '고정 효과'와 대조적으로 사용되었습니다.

'고정 효과'는 변수가 일부 샘플에 영향을 주지만 전부는 아닙니다. 고정 효과 모델 (개념적으로)의 가장 간단한 버전은 이진 값을 가진 고정 효과에 대한 더미 변수입니다. 이 모델에는 단일 랜덤 절편, 고정 효과 계수 및 랜덤 변수 계수가 있습니다.

개념 상 다음 단계의 합병증은 고정 효과가 이진수가 아니라 공칭이며 많은 값을 갖는 경우입니다. 이 경우 생성되는 것은 많은 절편이있는 모델입니다 (공칭 값마다 하나씩). 여기서 고정 효과 변수의 각 '옵션'이 자체 효과를 얻는 패널 데이터 모델 의 클래식 '여러 라인'을 얻을 수 있습니다. (고정 효과의 각 요인을 자체 회귀 분석으로 수행하는 대신) 모든 다른 요인 별 데이터 계열을 단일 회귀 분석으로 변환하는 것의 장점은 하나의 방정식에 모든 다른 효과의 분산을 모으는 것입니다. 모든 계수에 대해 더 나은 (더 확실한) 값을 얻으십시오.

'고정 효과'가 그 자체가 무작위 변수 인 경우, 그 효과가 '고정'되어 샘플의 하위 세트에만 영향을주는 것을 제외하고는 '계층 3'은 복잡성입니다. 이 시점에서 모델은 랜덤 인터셉트, 다중 고정 인터셉트 및 다중 랜덤 변수를 갖습니다. 이것이 '혼합 효과'모델이라고 알려진 것입니까?

'고정 효과'는 한 하위 집합의 데이터를 다른 하위 집합에 중첩시키는 데 사용될 수 있으므로 '혼합 효과'모델은 MLM (Multi-Level Modeling)에 사용됩니다. 이 그룹은 여러 계층으로 구성 될 수 있으며, 학생들은 교실 내에 중첩되어 있고 학교 내에 중첩되어 있습니다. 학교는 교실과 학생들의 교실에 고정 된 영향을 미칩니다. (학교는 실험 설계에 따라 학생에게 고정 된 영향을 줄 수도 있고 그렇지 않을 수도 있습니다.)

패널 데이터 모델은 '혼합 효과'모델이지만 그룹화에는 일반적으로 시간과 일부 범주의 두 가지 차원을 사용합니다.