오라클 불평등 : 기본적으로

오라클 불평등을 사용하여 무언가를 증명하는 논문을 겪고 있지만 그것이 무엇을하려고하는지조차 이해할 수 없습니다. 'Oracle Inequality'에 대해 온라인으로 검색했을 때 일부 소스는 "Candes, Emmanuel J. 'Oracle 불평등을 통한 현대의 통계적 추정"기사로 이동했습니다. " https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf 에서 찾을 수 있습니다 . 그러나이 책은 나에게 너무 무거워 보입니다. 전제 조건이 부족하다고 생각합니다.

제 질문은 : 오라클 불평등이 수학이 아닌 전공 (엔지니어 포함)에 대해 어떻게 설명하겠습니까? 두 번째로, 위에서 언급 한 책과 같은 것을 배우기 전에 전제 조건 / 주제를 다루도록 권장하는 방법은 무엇입니까?

구체적으로 파악하고 고차원 통계에 대한 경험이 많은 사람이 이에 대답해야합니다.

선형 사례로 설명하려고합니다. 선형 모델 경우 (독립 변수의 개수가 적거나 후 관찰의 수와 동일) 및 디자인 매트릭스 풀 랭크를 가지며, 최소한의 자승 추정기 있다 및 예측 오류는 우리가 추론 할 수있는 이는 각 매개 변수 이 제곱 정확도 로 추정 됨을 의미합니다따라서 전체 제곱 정확도는

$$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$$ $p \leq n$$b$ $$\hat{b}=(X^TX)^{-1}X^TY$$ $$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$$ $$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$$ $\beta_j^0$$\sigma^2/n, j=1,...,p.$$(\sigma^2/n)p.$

관측치의 수가 독립 변수의 수 보다 작 으면 어떻게 될까요? 우리는 우리의 모든 독립 변수가 를 설명하는 역할을하는 것은 아니라고 믿습니다 . 따라서 소수만 이 0이 아닙니다. 어떤 변수가 0이 아닌지 알면 다른 모든 변수를 무시할 수 있으며 위의 인수로 전체 제곱 정확도는$(p>n)$$Y$$k$$(\sigma^2/n)k.$

0이 아닌 변수 세트를 알 수 정규화 매개 변수 (변수 수를 제어 )와 함께 일부 정규화 페널티 (예 : ) 가 필요합니다 . 이제 위에서 설명한 것과 비슷한 결과를 얻으려면 제곱 정확도를 추정하려고합니다. 문제는 최적 추정량 이 (가) 이제 의존 입니다. 그러나 를 적절히 선택 하면 확률이 높은 예측 오차의 상한을 얻을 수 있다는 것입니다. 즉 "oracle 불평등" 추가 요인 참고$l_1$$\lambda$$\hat{\beta}$$\lambda$$\lambda$

$$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$$ $\log p$0이 아닌 변수 집합을 모르는 가격입니다. " "는 또는 에만 의존합니다 .$const.$$p$$n$