GLM의 "링크 기능"과 "정식 링크 기능"의 차이점은 무엇입니까?

65

'링크 기능'과 '정식 링크 기능'이라는 용어의 차이점은 무엇입니까? 또한, 하나를 다른 것보다 사용하는 (이론적) 장점이 있습니까?

예를 들어, 이진 응답 변수는 logit , probit 등과 같은 많은 링크 함수를 사용하여 모델링 할 수 있습니다 . 그러나 여기서 logit 은 "정식"링크 함수로 간주됩니다.

logistic generalized-linear-model link-function

10

이진 반응 변수의 회귀에 중점을 둔 로짓과 프로 빗 모델의 차이점에 대해 링크 기능에 대해 광범위하게 논의 합니다. 이 논의 중 일부만이 링크 함수가 '정식'이라는 의미에 중점을 두지 만 그럼에도 불구하고 읽는 것이 도움이 될 수 있습니다. 정식 링크와 비 정식 링크 함수의 구별 b / t 및 장점을 이해하려면 GLiM의 기초가되는 수학에 상당히 깊이 들어가야합니다.

— gung-Monica Monica 복원

68

위의 답변은보다 직관적이므로 더 엄격하게 시도합니다.

GLM이란 무엇입니까?

하자 의 응답 세트 나타내는 와 차원 공변량 벡터 기대치와 . 들면 독립된 관측 각의 분포 밀도와 지수 가족 $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ 여기서, 관심있는 매개 변수 (자연 또는 표준 매개 변수)는 이고 는 a 스케일 매개 변수 (불필요하거나 불쾌 함)와 및 는 알려진 기능입니다. 대한 고정 입력 값의 차원 벡터

에프 ({와이}_{나는}; θ_{나는}, ϕ) = 특급 {[{와이}_{나는} θ_{나는} - γ (θ_{나는})] / ϕ + τ ({와이}_{나는}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ 설명 변수는

로 표시됩니다 . 우리는 입력 만 선형 함수, 선형 예측을 통해 영향 (1) 벡터 가정

되는 때

의존한다. 그것은이 도시 될 수있는 바와 같이

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{나는} = β_{0} + β_{1} {엑스}_{나는 1} + \dots + β_{피} {엑스}_{나는 피}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ 이 종속성은 평균을 통해 선형 예측 변수

와

를 연결하여 설정됩니다 . 보다 구체적으로, 평균

는 선형 예측 변수의 가역적이고 부드러운 함수로 나타납니다. 즉

이제 질문에 답하십시오.

η

$\eta$

θ

$\theta$

μ

$\mu$

지 (μ) = η 또는 μ = 지^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

함수 를 링크 함수라고합니다. 함수가 연결되면 , 및 되도록 ,이 링크가 정규라고하고 폼 갖는다 . $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

그게 다야. 그런 다음 표준 링크를 사용하는 경우 바람직한 통계적 특성이 많이 있습니다. 예를 들어, 충분한 통계량은 에 대한 성분 대한 이며 , 찾기위한 Newton Method 및 Fisher 점수입니다. ML 추정기가 일치하면 이러한 링크는 MLE의 유도를 단순화하고 선형 회귀의 일부 속성 (예 : 잔차의 합이 0 임)을 유지하거나 가 결과 변수 범위 내에 유지 되도록 합니다. $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

따라서 기본적으로 사용되는 경향이 있습니다. 그러나 모델의 효과가이 링크 나 다른 링크에 의해 주어진 규모로 추가되어야하는 사전 이유는 없습니다.

— 모모
소스

5

+1, 이것은 정말 좋은 답변입니다, @Momo. 문단에 묻었을 때 일부 방정식을 읽기가 더 어려워서 이중 달러 기호 (예 : $ $) 를 사용하여 '차단'했습니다 . 나는 그것이 좋기를 바랍니다 (그렇지 않으면 내 사과와 함께 롤백 할 수 있음).

— gung-Monica Monica 복원

1

그러나 @Momo의 원래 질문에는 Wei가 요청한 내용이 포함되어 있으므로 아직 명확하게 대답하지 않은 것이 좋습니다.

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ 표준 링크 기능을 사용하는 경우에만 존재합니다.

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

gung은 좋은 설명을 인용했다. 정식 연결은 최소한의 충분성에 대한 특별한 이론적 특성을 가지고있다. 즉, 결과 수를 조정하여 조건부 로짓 모델 (이코노미스트가 고정 효과 모델이라고 함)을 정의 할 수 있지만 프로 빗 링크와 함께 사용할 통계가 충분하지 않기 때문에 조건부 프로 빗 모델을 정의 할 수 없습니다.

— StasK
소스

최소한의 충분성에 대해 조금 자세히 설명해 주시겠습니까? 위의 설명으로 우리는 여전히 프로 빗 모델을 정의 할 수 있습니다. 정식 링크 기능은 아니지만 비정규 링크 기능을 사용하면 해가됩니다.

— pikachuchameleon

9

다음은 MIT의 18.650 클래스 에서 영감을 얻은 작은 다이어그램 으로,이 기능 간의 관계를 시각화하는 데 도움이됩니다. @momo의 게시물과 같은 표기법을 사용했습니다.

$\gamma(\theta)$
$g(\mu)$

$g$

다이어그램을 사용하면 한 방향에서 다른 방향으로 쉽게 이동할 수 있습니다.

η = 지 (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (지^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

정식 링크 기능

$g$

γ^{- 1} \circ 지^{- 1} = {(지 \circ γ^{'})}^{- 1} = 나는

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— 자비에르 보렛 시코 테
소스

1

위의 답변은 이미 말하고 싶은 것을 다루었습니다. 머신 러닝 연구원으로서 몇 가지 요점을 명확히하기 위해 :

링크 기능은 활성화 기능의 역수에 지나지 않습니다. 예를 들어,로 짓은 시그 모이 드의 역수이고, 프로 빗은 가우시안의 누적 분포 함수의 역수입니다.
$w^T x$ $w$ $x$

위의 논의는 지수 가족과는 아무런 관련이 없지만 Christopher Bishop의 PRML 서적 4.3.6 장에서 좋은 토론을 찾을 수 있습니다.

— 장준준
소스