추정기의 Oracle 속성은 무엇입니까?

추정기 의 Oracle 속성 은 무엇입니까 ?
오라클의 속성 (예측, 설명 등)과 관련된 모델링 목표는 무엇입니까 ?

이론적으로 엄격하고 (특히) 직관적 인 설명을 환영합니다.

— 리차드 하디
소스

질문에 대한 확실한 원 스톱 상점 답변을 갖는 것이 좋을 것입니다. 일부 관련 자료 : Zou "Adaptive LASSO 및 해당 Oracle 특성" , p. 1 (pp. 1418).

— Richard Hardy

답변:

오라클은 진실을 알고 있습니다. 그것은 진실한 부분 집합을 알고 있으며 그것에 기꺼이 행동합니다. oracle 속성은 추정기의 점근 분포가 실제 지원에서만 MLE의 점근 분포와 동일하다는 것입니다. 즉, 추정기 는 가격 을 지불 하지 않고 (점근선 분포 측면에서) 진정한지지를 아는 것에 적응합니다 .

예를 들어, 정리 9.14의 Keener의 이론적 통계에서 논의 된 MLE의 점근 적 최적 성 특성에 의해, 예를 들어 오류가 가우시안 일 때 유지되는 일부 기술적 조건 하에서 우리가 가정 여기서 진정한 지원에 실제 계수. 점근 분포의 편차가 나타내는 피셔 정보의 역수 인 것을 알점근 적으로 효율적이다. 진정한 지원을 아는 MLE가이를 달성하기 때문에 oracle 속성의 일부로도 필요합니다.

\sqrt{엔} ({\hat{β}}_{에스} - β_{에스}^{※}) \to 엔 (0, {나는}^{- 1} (β_{에스}^{※})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

그러나, 우리는 비 점근 적 가파른 가격을 지불합니다 : 예를 들어,

Hannes Leeb, Benedikt M. Pötscher, 스파 스 추정기 및 oracle 속성 또는 Hodges 추정기 반환, Journal of Econometrics, Volume 142, Issue 1, 2008, Pages 201-211,

이는 "Oracle Estimator"(2001 년 Fan and Li의 의미에서)의 위험이 무한대로 분기되는 최고 값을 가지고 있음을 보여줍니다.

— 사용자
소스

따라서 올가미에 대한 오라클 속성은 다음과 같이 진술합니다. 오라클 속성은 추정기의 점근 분포가 진정한 지원에 대해서만 LASSO 로지스틱 회귀의 점근 분포와 동일하다는 것입니다

— Annalize Azzopardi

Oracle 속성의 정의는 컨텍스트와 관련이 있습니다. 선형 회귀 분석에서 매우 짧지 만 정확한 답변 (정확히 높은 차원)은 다음과 같습니다.

오라클 추정기는 파라미터 추정 및 변수 선택에서 일관성이 있어야합니다.

변수 선택에서 일관된 추정기가 모수 추정에서 반드시 일관되지는 않습니다. 수학적 정의에 대해서는 적응 형 올가미 용지 를 참조 하거나이 슬라이드 를 참조하십시오 .

— TPArrow
소스

그들은 adaLASSO 논문 (내 의견에 링크 됨)에서 수렴 률도 최적이어야한다고 말합니다 (일관된 추정과는 달리). 그것은 중요하고 약간 어려운 개념입니다. 그것에 대해 자세히 설명해 주시겠습니까?

— Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

그렇다면 oracle 속성 정의에서 최적의 속도 요구 사항을 제거하는 것이 좋습니다.

— Richard Hardy

일반적인 정의에서는 속도를 언급 할 의무가 없습니다. 그러나 이론 상으로는 최적의 속도를 알고 결정해야합니다.

— TPArrow

감사. 여기서 정의에 대해 이야기하기 때문에 이것을 선택하고 있으므로 정확하려고합니다.

— Richard Hardy