«shrinkage» 태그된 질문

릿지 회귀 추정 파라미터 ββ\boldsymbol \beta 선형 모델에서 y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta 에 의한 β λ = ( X ⊤ X + λ I ) - 1 X ⊤ Y , λ는 정규화 파라미터이다. 상관 된 예측 변수가 많은 경우 OLS 회귀 ( λ = 0 ) …

16 regression  ridge-regression  shrinkage 

데이터 세트 시작하여 올가미를 적용하고 솔루션 β L을 구하면 데이터 세트 ( X S , Y )에 올가미를 다시 적용 할 수 있습니다 . 여기서 S 는 0이 아닌 세트입니다. ''LLASO ''솔루션이라고 불리는 솔루션 β R L 을 얻기 위해 β L의 색인 (내가 틀렸다면 나를 교정하십시오!) 솔루션 β L …

16 regression  optimization  lasso  regularization  shrinkage 

이 사이트에는 이미 같은 문제에 대한 게시물이 있습니다. 왜 수축이 작동합니까? 그러나 답변이 인기가 있지만 질문의 요지가 실제로 해결되지 않았다고 생각합니다. 추정에 약간의 편향을 도입하면 분산이 감소하고 추정 품질이 향상 될 수 있음이 분명합니다. 하나: 1) 왜 편향 도입으로 인한 피해가 분산 이득과 비교하여 적습니까? 2) 왜 항상 작동합니까? 예를 …

15 regularization  ridge-regression  shrinkage 

나는 James-Stein 수축에 대한 아이디어를 얻었습니다 (즉, 독립적 인 법선으로 구성된 벡터에 대한 단일 관찰의 비선형 함수는 랜덤 변수의 수단을 더 잘 추정 할 수 있습니다. 여기서 '더 나은'은 제곱 오차로 측정됩니다) ). 그러나 응용 작업에서 본 적이 없습니다. 분명히 나는 ​​충분히 읽지 못했습니다. James-Stein이 적용된 환경에서 추정을 개선 한 …

15 estimation  error  shrinkage  application  steins-phenomenon 

ℓ 1 페널티 항 계수의 최적 선택에 관한 분석 결과 또는 실험 논문이 있습니까? 하여 최적의 , 나는 최고의 모델, 또는 최소화 예상 손실을 선택하는 확률을 극대화 매개 변수를 의미한다. 문제의 인스턴스 수가 많거나 문제의 크기 때문에 교차 유효성 검사 또는 부트 스트랩으로 매개 변수를 선택하는 것이 실용적이지 않기 때문에 …

15 model-selection  lasso  shrinkage 

수축이란 단어는 특정 원에서 많이 발생합니다. 그러나 수축이란 명확한 정의가없는 것 같습니다. 시계열 (또는 일부 프로세스의 관측치 모음)이있는 경우 시리즈에서 경험적 수축 유형을 측정 할 수있는 다른 방법은 무엇입니까? 내가 말할 수있는 다른 유형의 이론적 수축은 무엇입니까? 수축이 예측에 어떻게 도움이 될 수 있습니까? 사람들이 좋은 통찰력이나 참고 자료를 제공 …

13 estimation  predictive-models  shrinkage 

Zou et al. "올가미의"자유도 " (2007)에 따르면, 0이 아닌 계수의 수는 올가미의 자유도에 대한 편견이없고 일관된 추정치 인 것으로 나타났습니다. 나에게는 약간의 직관이 아닌 것 같습니다. 회귀 모형이 있다고 가정합니다 (변수가 0 평균 인 경우). y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. 의 무제한 OLS 추정값 이 라고 가정합니다 . 패널티 강도가 매우 …

12 regression  lasso  degrees-of-freedom  shrinkage 

그동안 LASSO (최소 절대 축소 및 선택 연산자)를 공부하고 있습니다. 정규화 매개 변수의 최적 값은 교차 유효성 검사를 통해 선택할 수 있습니다. 능선 회귀 분석과 정규화를 적용하는 많은 방법에서 CV를 사용하여 최적의 정규화 매개 변수 (벌칙)를 찾을 수 있습니다. 이제 내 질문은 매개 변수의 상한 및 하한의 초기 값과 시퀀스 …

12 lasso  regularization  shrinkage 

I 두 추정기 있다고 가정 과 같은 파라미터의 일관성 추정기 것을 그러한 저 와 의 PSD 감각. 따라서 은 보다 효율적 입니다. 이 두 추정기는 서로 다른 손실 함수를 기반으로합니다. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2엔−−√( βˆ1− β0) →디엔( 0 , V1) ,엔−−√( βˆ2− β0) →디엔( 0 , V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) …

11 regression  ridge-regression  shrinkage  penalized 

James-Stein 추정값에 대해 내가 찾은 모든 진술은 추정되는 랜덤 변수의 분산이 동일하다고 가정합니다. 그러나이 모든 예는 JS 추정기가 서로 관련이없는 수량을 추정하는 데 사용될 수 있다고 언급합니다. 위키 피 디아 예는 몬태나 빛, 대만의 차 소비, 돼지 무게의 속도입니다. 그러나이 세 가지 수량에 대한 측정 결과에는 "실제"차이가있을 수 있습니다. 이것이 …

11 estimation  shrinkage  steins-phenomenon 

간단한 예제를 위해 두 개의 선형 회귀 모델이 있다고 가정합니다. 모델 1은이 세 가지 예측, x1a, x2b, 및x2c 모형 2에는 모형 1의 예측 변수 3 개와 추가 예측 변수 2 개가 x2a있으며x2b 설명 된 모집단 분산이 모형 1의 경우 ρ2( 1 )ρ(1)2\rho^2_{(1)} 이고 모형 2의 경우 모집단 회귀 방정식이 있습니다. …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

형식의 종단 데이터가 있다고 가정합니다 여러 관측 값이 있습니다. 이것은 하나의 형태 일뿐입니다). 제한에 관심이 있습니다. 제한없는 는 와 것과 같습니다. .Y=(Y1,…,YJ)∼N(μ,Σ)Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)ΣΣ\SigmaΣΣ\SigmaYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj Y_j = \alpha_j + \sum_{\ell = 1} ^ {j - 1} \phi_{\ell j} Y_{j-\ell} + \varepsilon_j εj∼N(0,σj)εj∼N(0,σj)\varepsilon_j \sim N(0, …

9 feature-selection  lasso  shrinkage 

iid로 그려진 관측치를 위한 . 하자 에 의해 나타내고 의 제 큰 관측 값 . 의 (조건부) 분포는 무엇입니까 ? (또는 와 동일 )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} 즉, 에 대한 조건부 분포 는 의 관측 값 중 번째로 큰 것 입니까?XiXiX_iZiZiZ_ijjjnnnZZZ 내가 추측 오전과 …

9 distributions  order-statistics  shrinkage 

로지스틱 회귀 컨텍스트에서 기능 선택에 대한 순열 분석에 대해 혼란스러워합니다. 랜덤 순열 테스트에 대한 명확한 설명을 제공하고이 기능이 기능 선택에 어떻게 적용됩니까? 정확한 알고리즘과 예제가있을 수 있습니다. 마지막으로 올가미 또는 LAR과 같은 다른 수축 방법과 어떻게 비교됩니까?

9 regression  logistic  feature-selection  permutation-test  shrinkage