자기 상관 테스트 : Ljung-Box와 Breusch-Godfrey

35

원시 데이터 또는 모델 잔차에서 자기 상관을 테스트하기 위해 Ljung-Box 테스트가 자주 사용되는 것을 보았습니다. 나는 자기 상관에 대한 또 다른 테스트, 즉 Breusch-Godfrey 테스트가 있다는 것을 거의 잊었다.

질문 : Ljung-Box와 Breusch-Godfrey 테스트의 주요 차이점과 유사점은 무엇이며 언제 다른 테스트보다 선호되어야합니까?

(참고 문헌은 환영합니다. 어떻게 든 몇 가지 교과서를보고 온라인으로 자료를 검색했지만 두 테스트에 대한 비교 를 찾을 수 없었습니다 . 각 테스트에 대한 설명을 개별적 으로 찾을 수 있었지만 관심이있는 것은 둘 의 비교 .)

time-series hypothesis-testing autocorrelation

— 리차드 하디
소스

36

Econometrics 커뮤니티 에는 자기 회귀 모델의 잔차 (즉, 회귀 행렬의 지연된 종속 변수)를 기반으로하는 자기 상관 검정에 대한 Ljung-Box 통계 의 유효성에 대한 강한 목소리가 있습니다 (특히 Maddala (2001) 참조 ). " 생태계 소개 (3d 판), ch 6.7 및 13. 5 p 528. Maddala는 말 그대로이 테스트의 광범위한 사용을 애도하고 대신 Breusch와 Godfrey의"Langrange Multiplier "테스트를 적절하게 고려합니다. $Q$

Ljung-Box 테스트에 대한 Maddala의 주장은 다른 전 방향 자기 상관 테스트 인 "Durbin-Watson"에 대해 제기 된 것과 동일합니다. 회귀 행렬에 지연된 종속 변수가 있으면 검정의 귀무 가설을 유지하기 위해 편향됩니다. "자가 상관 관계 없음"(@javlacalle에서 얻은 Monte-Carlo 결과는이 사실을 암시합니다). Maddala는 또한 테스트의 저전력을 언급합니다 (예 : Davies, N., & Newbold, P. (1979) 참조). 시계열 모델 사양의 포트만 토 테스트에 대한 일부 전력 연구. Biometrika, 66 (1), 153-155] .

하야시 (2000) , ch. 2.10 "직렬 상관 테스트" 는 통합 된 이론적 분석을 제시하며 문제를 명확히합니다. 하야시는 0에서 시작합니다. Ljung-Box 통계량을 카이 제곱으로 점근 적으로 분포시키려면 통계에 제공하는 표본 자기 상관이 다음과 같은 프로세스 ( 는무엇이든) 인 경우에 해당합니다. 자기 상관이 없다는 귀무 가설 하에서, 마틴 게일-차이 서열, 즉 그것이 만족하는 것 $Q$ $\{z_t\}$ $z$

E (z_{t} ∣ z_{t - 1}, z_{t - 2}, . . .) = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

또한 "자신의"조건부 동요 성을 나타냅니다.

E (z_{t}^{2} ∣ z_{t - 1}, z_{t - 2}, . . .) = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

이러한 조건 하에서 Ljung-Box 통계 (원래 Box-Pierce 통계 의 유한-검정-샘플 변형 )는 무정형 적으로 카이-제곱 분포를 가지며, 그 사용은 점근 적으로 정당화됩니다. $Q$ $Q$

이제 자기 회귀 모델 (지연 종속 변수뿐만 아니라 독립 회귀 분석도 포함)을 지정했다고 가정합니다.

y_{t} = x_{t}^{'} β + ϕ (L) y_{t} + u_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

여기서 은 지연 연산자에서 다항식이며 추정의 잔차를 사용하여 연속 상관 관계를 테스트하려고합니다. 그래서 여기 . $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi는 잔차의 표본 자기 상관에 기초한 Ljung-Box 통계량이 자기 상관이 없다는 귀무 가설 하에서 점근 적 카이-제곱 분포를 갖기 위해서는 모든 회귀자가 "엄격히 외생 적"인 경우 에 해당함을 보여줍니다 " 은 다음과 같은 의미에서 오류 용어입니다. $Q$

E (x_{t} \cdot u_{s}) = 0, E (y_{t} \cdot u_{s}) = 0 \forall t, s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

$t,s$ $s= t-1$

E [y_{t} u_{t - 1}] = E [(x_{t}^{'} β + ϕ (L) y_{t} + u_{t}) u_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [x_{t}^{'} β \cdot u_{t - 1}] + E [ϕ (L) y_{t} \cdot u_{t - 1}] + E [u_{t} \cdot u_{t - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

$X$ $E[\phi(L)y_t \cdot u_{t-1}]$

$Q$

엄격한 외인성보다 약한 조건, 즉

E (u_{t} ∣ x_{t}, x_{t - 1}, . . ., ϕ (L) y_{t}, u_{t - 1}, u_{t - 2}, . . .) = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

$X$

$\{\hat u_t\}$ $R^2$

이 통계는 우리가 "직렬 상관 관계에 대한 Breusch-Godfrey 검정"이라고하는 것에 사용됩니다 .

회귀 변수가 지연 종속 변수를 포함 할 때 (그리고 모든 경우에 자기 회귀 모델도 포함), Ljung-Box 테스트는 Breusch-Godfrey LM 테스트를 위해 포기 해야합니다 . "더 나쁘게 수행하기"때문이 아니라 점근 적 정당성을 갖지 않기 때문입니다. 특히 전자의 유비쿼터스 존재와 적용으로 판단 할 때 상당히 인상적인 결과입니다.

$x$

— 알레 코스 파파도풀로스
소스

매우 인상적인 Alecos! 좋은 설명! 정말 고맙습니다! (더 많은 사람들이 귀하의 답변을 궁극적으로 읽고 그들의 연구 나 연구에 도움이되기를 바랍니다.)

— Richard Hardy

+1 매우 흥미 롭습니다. 필자의 초기 추측은 AR 모델에서 BG 테스트의 분포가 왜곡 될 수 있지만 설명하고 시뮬레이션 실습에서 제안한 것처럼 LB 테스트가 더 심각하게 영향을받는 테스트입니다.

— javlacalle

x_{t}

$x_t$

1

@ Aksakal, 또한 문제의 일부는 초점이 여기 저기 조금 뛰어 오르는 것일 수 있습니다. 우리는 (1) 어떤 테스트가 더 나은지 (2) 어떤 테스트가 어떤 가정 하에서 작동하는지, 그리고 (3) 어떤 테스트가 어떤 모델에 대해 작동하는지 (다른 모델 가정으로) 문제를 분리해야합니다. 후자는 아마도 실무자에게 가장 유용한 질문 일 것입니다. 예를 들어 Alecos가 보여준 것 때문에 ARMA 모델의 잔차에 LB를 사용하지 않습니다. LB를 여전히 ARMA 모델의 잔차에 사용할 수 있다고 주장합니까 (이제 다른 스레드의 중심 문제이기도 함)?

— Richard Hardy

1

@Alexis 그리고 그것은 사실이 너무 아첨입니다. 고맙습니다.

— Alecos Papadopoulos

12

어림짐작

이 테스트를 비교 한 연구에 대해서는 모르겠습니다. 설명 변수가 종속 변수보다 느린 ARIMA 모델과 같은 시계열 모델의 맥락에서 Ljung-Box 테스트가 더 적합하다는 의혹이있었습니다. Breusch-Godfrey 검정은 일반적인 가정이 충족되는 일반적인 회귀 모델 (특히 외인 회귀 분석)에 더 적합 할 수 있습니다.

내 생각은 Breusch-Godfrey 검정의 분포 (일반 최소 제곱에 의해 회귀 된 잔차에 의존 함)는 설명 변수가 외생 적이 지 않다는 사실에 영향을받을 수 있다는 것입니다.

나는 이것을 확인하기 위해 작은 시뮬레이션 연습을했고 그 결과는 반대를 제안합니다 : Breusch-Godfrey 테스트는 자기 회귀 모델의 잔차에서 자기 상관을 테스트 할 때 Ljung-Box 테스트보다 성능이 우수합니다. 운동을 재현하거나 수정하는 세부 사항 및 R 코드는 다음과 같습니다.

작은 시뮬레이션 연습

Ljung-Box 테스트의 일반적인 적용은 피팅 된 ARIMA 모델의 잔차에서 직렬 상관 관계를 테스트하는 것입니다. 여기에서는 AR (3) 모델에서 데이터를 생성하고 AR (3) 모델에 적합합니다.

잔차는 자기 상관이 없다는 귀무 가설을 충족하므로, 균일하게 분포 된 p- 값을 기대합니다. 귀무 가설은 선택한 유의 수준에 가까운 경우 (예 : 5 %)에서 기각되어야합니다.

융 박스 테스트 :

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Ljung-Box 검정 p- 값

결과는 귀무 가설이 매우 드문 경우에 기각됨을 보여줍니다. 5 % 수준의 경우 거부율이 5 %보다 훨씬 낮습니다. p- 값의 분포는 널을 거부하지 않는쪽으로의 편향을 보여줍니다.

원칙적으로 편집 원칙 fitdf=3을 설정해야합니다. 이는 잔차를 얻기 위해 AR (3) 모델을 피팅 한 후 손실되는 자유도를 설명합니다. 그러나 4보다 낮은 차수의 경우 음의 자유도 또는 0의 자유도가 발생하여 테스트를 적용 할 수 없게됩니다. 설명서에 따르면 ?stats::Box.test: 이 테스트는 종종 참조 설정함으로써 얻어지는 널 가설 분포 나은 근사치를 제안하는 경우에 ARMA (P, Q) 착용감에서 잔차에 적용되는 fitdf = p+q것을 물론 제공 lag > fitdf.

Breusch-Godfrey 테스트 :

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Breusch-Godfrey 검정 p- 값

Breusch-Godfrey 테스트 결과가 더 합리적으로 보입니다. p- 값은 균일하게 분포되어 있으며 기각 률은 귀무 가설 하에서 예상 한대로 유의 수준에 더 가깝습니다.

— 자바 블레
소스

1

LB.pvals[i,j]

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

또한 첫 번째 단락에서 말한 내용에 대해 조금 더 확장 할 수 있습니까? 나는 그 진술을 매우 중요하다고 인식하지만 세부 사항은 부족합니다. 나는 너무 많은 것을 요구할 수도있다 – 나를 위해“소화”하기 – 그러나 그것이 당신에게 너무 어렵지 않을 경우, 나는 그것을 감사 할 것이다.

— Richard Hardy

1

내 직감은이 문제가 다음과 관련이 있다는 것입니다 선형 독립 임의의 변수의 합은 배포됩니다 . 선형 제한 을 선형 종속 랜덤 변수 의 합은 로 분배됩니다 . 때 이것은 잘못 정의되어 있습니다. Ljung-Box 테스트가 AR ( ) 모델의 모델 잔차에 사용될 때 이와 같은 일이 발생한다고 생각합니다 .

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

— Richard Hardy

1

잔차는 독립적이지 않지만 선형 적으로 제한됩니다. 첫째, 그것들은 0으로 요약됩니다. 둘째, 그 자동 상관은 제 제로이다 시차가. 방금 쓴 내용은 사실이 아니지만 아이디어가 있습니다. 또한 Ljung-Box 테스트를 신청해서는 안되며 소스를 기억하지 못한다는 것을 알고 있습니다. 아마도 교수님의 강의에서 들었습니다. Ruey S. Tsay, 또는 그의 강의 노트에서 읽어보십시오. 그러나 나는 정말로 기억하지 않는다.

k

$k$ lag<fitdf

— Richard Hardy

1

요컨대, 4보다 낮은 차수에 대해 말할 때 , 이것은 음의 자유 또는 0 도의 자유로 이어질 것이므로 테스트를 적용 할 수 없게 만듭니다. 다른 지연을 만들어야한다고 생각합니다. 그 시차에 대해서는 테스트를 사용하지 마십시오. 당신이 fitdf=0대신 설정을 진행 fitdf=3하면 자신을 속일 수 있습니다.

— Richard Hardy

2

녹색 (경제 분석, 7 판, 963 페이지, 섹션 20.7.2) :

"Godfrey-Breusch [GB]와 Box-Pierce [BP] 테스트의 근본적인 차이점 은 전자와 후자의 상관 관계에서 부분 상관 관계 ( 및 기타 변수에 대한 제어 )를 사용하는 것입니다. 귀무 가설 아래 에 아무런 자기 상관 없다 및 상관 관계 및 두 시험 점근 동일하므로, 어떠한 이벤트가. 한편, 온 상태가 없기 때문에 상기 [BP] 시험은보다 강력 [GB] 직관에서 알 수 있듯이 귀무 가설이 거짓 일 때 테스트합니다. " $X$ $e_t$ $x_t$ $e_s$ $x_t$

(Ljung-Box에 대한 질문은 위의 Box-Pierce를 의미하지만 전자는 후자를 간단하게 수정하므로 GB와 BP 간의 비교는 GB와 LB 간의 비교에도 적용됩니다.)

다른 답변이 이미보다 엄격한 방식으로 이미 설명했듯이 Greene은 Ljung-Box와 Godfrey-Breusch를 사용하여 얻을 수는 없지만 계산 능력이 아닌 다른 것 (테스트의 유효성)을 얻을 수는 없다고 제안합니다.

— 칸다 미르
소스

0

Box-Pierce 및 Ljung-Box 테스트는 주로 일 변량 테스트 인 것으로 보이지만 시계열 회귀 잔차 (MA 또는 AR 프로세스)에 선형 구조가 남아 있는지 테스트 할 때 Breusch-Godfrey 테스트 뒤에 몇 가지 가정이 있습니다.

토론 링크는 다음과 같습니다.

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

— 분석자
소스

나는 문법 때문에 문장의 의미를 잘 이해하지 못한다고 생각합니다. 다시 말씀해 주시겠습니까?

— Richard Hardy

0

테스트의 주요 차이점은 다음과 같습니다.

Breusch-Godfrey 검정은 (올바르게 지정된) 우도 함수 (따라서 첫 번째 원칙)에서 파생 된 Lagrange Multiplier 검정입니다.
Ljung-Box 테스트는 고정 프로세스 잔차의 두 번째 순간 (따라서 상대적으로 임시적인 특성)을 기반으로합니다.

Breusch-Godfrey 테스트는 Lagrange Multiplier 테스트로서 가장 균일하고 가장 강력한 테스트와 동일합니다. 그것이 될 수 있듯이, 생략 된 회귀 변수의 대체 가설 (무효 변수인지 여부에 관계없이)은 무의식적으로 가장 강력합니다. Ljung-Box 검정의 장점은 광범위한 대립 가설에 대한 검정력 일 수 있습니다.

— bmbb
소스