정규화 된 추정치가있는 신뢰 구간의 적용 범위

정규화 된 추정을 사용하여 일부 고차원 데이터에서 많은 수의 모수를 추정하려고한다고 가정하십시오. 정규화 도구는 추정치에 약간의 편견을 제공하지만 분산 감소가이를 보완하는 것 이상으로 인해 여전히 좋은 절충점이 될 수 있습니다.

신뢰 구간을 추정하려고 할 때 문제가 발생합니다 (예 : Laplace 근사 또는 부트 스트랩 사용). 특히, 추정치의 치우침으로 인해 신뢰 구간의 적용 범위가 잘못되어 추정기의 빈번한 특성을 결정하기가 어렵습니다.

이 문제에 대해 논의한 논문을 찾았습니다 (예 : "Edgeworth 확장을 기반으로 릿지 회귀에서 점근 적 신뢰 구간" ). 수학은 대부분 내 머리 위에 있습니다. 관련 논문에서, 식 92-93은 능선 회귀에 의해 정규화 된 추정치에 대한 보정 계수를 제공하는 것처럼 보이지만, 다양한 다른 정규화 기와 함께 사용할 수있는 좋은 절차가 있는지 궁금합니다.

1 차 수정조차도 매우 도움이 될 것입니다.

— 데이비드 제이 해리스
소스

+1시의 적절하고 중요한 질문-현재 누군가가 긍정적으로 이것을 대답 할 수 있는지 확실하지 않지만 (우리는 단순히 올바르게 수행하는 방법을 모른다고 생각하면 통계 보고서가 줄 지어 있습니다. 관련 질문 : stats.stackexchange.com/questions/91462/… 부트 스트랩은 이러한 상황에서 순전히 수행되지만 도움이되지 않는다는 것을 알고 있습니다.

— Momo

링크 주셔서 감사합니다. 부트 스트랩과 관련하여 무엇을 의미하는지 명확하게 설명해 주시겠습니까?

— David J. Harris

또한, 나는 누군가가 희소하지 않은 정규화 프로그램에 잘 작동하는 메소드를 가질 수 있기를 희망하고 있습니다. L1 형벌은 모든 추정치가 0으로 쌓여 있기 때문에 특히 어려운 일이라고 생각합니다. 다시 감사합니다.

— David J. Harris

데이브, 소위 티브시 라니와 공동 저자의 선택 간격이 적절할까요? 그들은 적어도 Lasso, LARS 및 다면체 형태 라는 것을 통해 단계적 회귀에 대해 그것들을 해결했습니다 . 그것으로부터 당신은 본질적으로 일반적인 방법으로 신뢰 구간을 형성 할 수 있지만 , 데이터로부터 정보가 제공되는 한계

를 갖는 절단 된 법선을 사용합니다 . 표면적 세부 사항과 실제 논문에 대한 링크 (대부분 ArXiv 에 있음)는 Taylor & Tibshirani (2015, PNAS)에 있습니다.

c

$c$

d

$d$

— 복원 Monica Monica-G. Simpson

에 의해 용지 루벤 Dezeure, 피터 BUHLMANN, 루카스 마이어와 니콜라 Meinshausen는 높은 차원 환경에서 추론에 대한 가장 최근의 포괄적 인 계정 내 지식의 최선입니다.

— NRH

답변:

최근이 종이 운이 좋게, 계산에 쉽게 (신뢰 구간과 높은 차원 회귀에 대한 가설 검정)이다 표현식을 제공, (당신이 당신의 데이터를 회귀 분석을 수행하려는 경우 내가 이해,) 정확하게 문제를 해결하고.

또한 Peter Bühlmann 의 최근 주제에 대한 관심이있을 것 입니다. 그러나 나는 첫 번째 논문이 당신이 찾고있는 것을 제공하고 내용이 소화하기 쉽다고 생각합니다 (나는 통계학 자도 아닙니다).

— jpmuc
소스

+1 재미있는 종이. 따라서 이러한 문제에 접근하는 방법과 그들이 밀접하게 관련되지 않은 것을 볼 수있는 방법에 대해 적어도 세 개의 경쟁 아이디어가있는 것으로 보입니다. 그런 다음 journals.cambridge.org/action/ 의 불가능 성 정리도 있습니다. 이것이 어떻게 작동하고 표준으로 나타나는지 보는 것은 흥미로울 것입니다.

— Momo

감사. 이것은 실제로 구현할 수있는 것이 아닐 수도 있지만 수학이 다양한 정규화 된 추정치에서 작동하는 것처럼 보입니다.

— David J. Harris

http://cran.r-project.org/web/packages/hdi/index.html

찾고 계십니까?

Description
Computes confidence intervals for the l1-norm of groups of regression parameters in a hierarchical
clustering tree.

— 타 가르
소스

나는 다양한 (대부분 스파 스가 아닌) 정규화 프로그램에 효과가있는 것을 원했습니다. 그래도 고마워.

— David J. Harris