영향 함수 및 OLS

영향력 기능이 어떻게 작동하는지 이해하려고 노력하고 있습니다. 간단한 OLS 회귀와 관련하여 누군가 설명 할 수 있습니까?

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

대한 영향 함수 를 원합니다 . $\beta$

regression least-squares

— stevejb
소스

여기에는 구체적인 질문이 없습니다. 영향 함수가 어떻게 계산되는지 보시겠습니까? 구체적인 경험적 예를 원하십니까? 그것이 의미하는 것에 대한 경험적 설명?

— whuber

Frank Critchley의 1986 년 논문 "주요 구성 요소에 영향을 미치는 기능"을 살펴보면 (종이의 정확한 이름을 기억할 수 없음). 그는 여기서 일반적인 회귀에 대한 영향 함수를 정의합니다 (내 대답이 잘못되었을 수도 있고 그렇지 않을 수도 있음).

— chanceislogic

답변:

영향 함수는 기본적으로 통계 를 다시 계산하지 않고도 통계 값에 대한 관측치 제거 효과 (또는 "영향")를 평가하는 데 사용할 수있는 분석 도구입니다 . 또한 점근 적 분산 추정값을 작성하는 데 사용될 수도 있습니다. 영향이 경우 점근 적 분산은 입니다. $I$ $\frac{I^2}{n}$

영향 함수를 이해하는 방법은 다음과 같습니다. 로 표시된 일종의 이론적 CDF가 있습니다. 간단한 OLS의 경우 $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ 여기서 는 표준 일반 CDF이고 는 오차 분산입니다. 지금 당신은 어떤 통계 따라서이 CDF의 함수 표기 될 것으로 보여 (즉, 일부 기능 ). 이제 기능 변경 가정 위해, "약간"으로 여기서 및 입니다. 따라서 는 "ith"데이터 포인트가 제거 된 데이터의 CDF를 나타냅니다. 우리는 테일러 시리즈를 할 수 있습니다

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ 약 . 이것은 다음을 제공합니다.

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

참고 우리가 얻을 수 있도록 : $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

여기서 부분 미분은 영향 함수라고합니다. 따라서 이는 "ith"관측치 삭제로 인한 통계에 대한 대략적인 "1 차"수정을 나타냅니다. 회귀 분석에서 나머지는 비대칭으로 0이 아니므로 실제로 얻을 수있는 변경 사항에 대한 근사치입니다. 이제 를 다음과 같이 작성하십시오. $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

따라서 베타는 X의 분산과 X와 Y의 공분산의 두 가지 통계 함수입니다.이 두 통계는 CDF와 관련하여 다음과 같이 표현됩니다.

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ 및 여기서

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

i 번째 관측 값을 제거하기 위해 두 적분에서 를 대체합니다 . $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

용어를 무시 하고 단순화 : 공분산 $\zeta^{2}$

V a r (X)_{(i)} \approx V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

따라서 를 함수로 표현할 수 있습니다 . 이것은: $\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

이제 Taylor 시리즈를 사용할 수 있습니다 :

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

이것을 단순화하면 다음이 제공됩니다.

β_{(i)} (ζ) \approx β - ζ [\frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{V a r (X)} - β \frac{(x_{i} - μ_{x})^{2}}{V a r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

그리고 , , 및 통계 값을 연결 하면 다음과 같은 결과 가 나타납니다. $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{x_{i} - \bar{x}}{n - 1} [\frac{y_{i} - \bar{y}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{i} - \bar{x}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

그리고 모델을 다시 맞출 필요없이 단일 관측치 제거 효과를 어떻게 근사 할 수 있는지 확인할 수 있습니다. 또한 평균과 동일한 x 가 선의 기울기에 미치는 영향을 볼 수 있습니다 . 이것에 대해 생각하면 그것이 어떻게 이해되는지 알게 될 것입니다. 표준화 된 값 (y와 유사하게)으로 간결하게 작성할 수도 있습니다 . $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{x_{i}}}{n - 1} [\tilde{y_{i}} \frac{s_{y}}{s_{x}} - \tilde{x_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— 확률 론적
소스

이야기는 추가 데이터 포인트의 영향에 관한 것입니까? 시계열 데이터에 대한 임펄스 응답에 더 익숙해졌으며, 통계적 맥락에서 모든 영향은 표준화 된 회귀 분석에서 한계 효과 또는 (더 나은 선택) 베타 계수로 설명됩니다. 글쎄, 나는 질문과 대답을 판단하기 위해 더 많은 맥락이 필요하지만, 이것은 좋은 것입니다 (아직 +1이 아니라 기다리고 있습니다).

— Dmitrij Celov

@dmitrij-그것이 링크에서 암시 된 것 (또는 내가 추론 한 것)입니다-그것은 통계의 견고성 속성에 관한 것입니다. 영향 함수는 1 데이터 포인트보다 약간 더 일반적입니다. 델타 함수를 합계로 정의 할 수 있습니다 (많은 관측치). 모델을 다시 장착 할 필요가 없기 때문에 어느 정도는 "저렴한 Jacknife"라고 생각합니다.

— chanceislogic

회귀의 영향 함수에 대해 이야기하는 가장 일반적인 방법은 다음과 같습니다. 먼저 영향력 기능을 제시하는 한 가지 방법을 다룰 것입니다.

가 에 대한 분포 라고 가정합니다 . 오염 분포 함수 , 다음과 같이 정의 될 수있다 : 여기서 의 확률 측정 있는 양수인 확률 1 의 다른 모든 요소는 0 . $F$ $\Sigma$ $F_\epsilon(x)$

F_{ϵ} (x) = (1 - ϵ) F + ϵ δ_{x}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

이것으로부터 우리는 영향 함수를 상당히 쉽게 정의 할 수 있습니다 :

영향 함수 의 에서 , 다음과 같이 정의된다 $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (x) = lim_{ϵ \to 0} \frac{\hat{θ} (F_{ϵ} (x)) - \hat{θ} (F)}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

여기에서 그것은 영향 함수의 가토 유도체 인 것을 알 수있어 에서 방향 . 이렇게하면 영향 함수에 대한 해석이 조금 더 명확 해집니다. 영향 함수는 특정 관측 값이 추정기에 미치는 영향을 알려줍니다. $\hat\theta$ $F$ $\delta_x$

OLS 추정치는 문제에 대한 해결책입니다.

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

관찰 에 약간 더 비중을 둔 오염 된 분포를 상상해보십시오 . $(x,y)$

{\hat{θ}}_{ϵ} = \arg min_{θ} (1 - ϵ) E [(Y - X θ)^{T} (Y - X θ)] + ϵ (y - x θ)^{T} (y - x θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

1 차 주문 조건 :

{(1 - ϵ) E [X^{T} X] + ϵ x^{T} x} {\hat{θ}}_{ϵ} = (1 - ϵ) E [X^{T} Y] + ϵ x^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

영향 함수는 단지 Gateaux 파생물이므로 이제 다음과 같이 말할 수 있습니다.

- (E [X^{T} X] + x^{T} x) {\hat{θ}}_{ϵ} + E [X^{T} X] ψ_{θ} (x, y) = - E [X^{T} Y] + x^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

앳 , : 그래서 $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (x, y) = E [X^{T} X]^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

이 영향 함수의 유한 샘플 대응 물은 다음과 같습니다.

ψ_{θ} (x, y) = {(\frac{1}{N} \sum_{i} X_{i}^{T} X_{i})}^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

일반적으로이 프레임 워크 (Gateaux 파생물로서 영향 함수로 작업)가 다루기가 더 쉽다는 것을 알게되었습니다.

— Jayk
소스