다음 세 가지 현상을 고려하십시오. Stein의 역설 : 다변량 정규 분포에서 얻은 일부 데이터를 감안할 때 표본 평균은 실제 평균을 잘 추정하지 못합니다. 표본 평균의 모든 좌표를 0 (또는 평균을 향하여 또는 내가 올바르게 이해하면 실제로는 임의의 값)으로 축소하면 평균 제곱 오차가 낮은 추정값을 얻을 수 있습니다.Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge …
연말 연시에는 통계 학습의 요소 (Elements of Statistical Learning)로 불 옆에서 몸을 구부릴 수있는 기회가 주어졌습니다 . (자주 주의적) 계량 경제학 관점에서 볼 때, 능선 회귀, 올가미 및 최소 각도 회귀 (LAR)와 같은 수축 방법의 사용을 파악하는 데 어려움을 겪고 있습니다. 일반적으로 매개 변수 추정 자체에 편견이 있거나 최소한 일관성을 …
나는 능선 회귀 추정치는 것을 이해 의 크기에 잔류 제곱의 합 페널티 킥을 최소화βββ\betaββ\beta βr i d g e= ( λ I디+ X'엑스)− 1엑스'와이= 아르 기민[ RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 그러나, 나는 완전히 그 사실의 중요성을 이해하지 못하는 β산등성이βridge\beta_\text{ridge} 다릅니다 βOLSβOLS\beta_\text{OLS} 만의 …
모형 선택의 문제를 해결하기 위해 많은 방법 (LASSO, 능선 회귀 등)이 예측 변수의 계수를 0으로 줄입니다. 왜 이것이 예측 능력을 향상시키는 지에 대한 직관적 인 설명을 찾고 있습니다. 변수의 실제 효과가 실제로 매우 큰 경우, 왜 매개 변수를 축소해도 예측이 더 나 빠지지 않습니까?
예측 변수 및 표본 크기 과 함께 좋은 오래된 회귀 문제를 고려하십시오 . 일반적인 지혜는 OLS 추정기가 능선 회귀 추정기에 의해 초과 적합하고 일반적으로 능가한다는 것입니다.최적의 정규화 매개 변수 를 찾기 위해 교차 유효성 검사를 사용하는 것이 표준 입니다. 여기에서는 10 배 CV를 사용합니다. 설명 업데이트 : 일 때 "OLS …
조정 된 R- 제곱에 대해 R에서 사용되는 정확한 공식은 무엇입니까 lm() ? 어떻게 해석 할 수 있습니까? 조정 된 R- 제곱 공식 조정 된 R- 제곱을 계산하는 공식이 여러 개있는 것 같습니다. 나룻배의 식 : 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} McNemar의 식 : 1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} 주님의 공식 : 1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} 스타 인의 공식 : 1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) 교과서 …
Lasso회귀 와 같은 전에 변수를 표준화 해야하는 세 가지 주요 이유를 읽었습니다 . 1) 계수의 해석 성. 2) 수축 후 계수 추정치의 상대적 크기에 따라 계수 중요도를 평가하는 기능. 3) 가로 채지 않아도됩니다. 그러나 가장 중요한 점이 궁금합니다. 표준화가 모형의 표본 일반화를 향상시킬 것이라고 생각할만한 이유가 있습니까? 또한 모델에 인터셉트가 …
Zou & Hastie (2005) 최초의 탄성 그물 종이 탄성 그물을 통한 정규화 및 변수 선택 은 선형 회귀에 대한 탄성 그물 손실 함수를 도입했습니다 (여기서 모든 변수가 단위 분산에 중심을두고 스케일링되었다고 가정) : 이지만 "순진 탄력적 그물"이라고합니다. 그들은 이중 수축 (라소와 릿지)을 수행하고, 과도하게 수축하는 경향이 있으며, 다음과 같이 결과 …
한 번은 올가미를 두 번 사용하는 방법을 들었습니다 (이중 올가미와 같이). 여기서 S1과 같은 원래 변수 세트에서 올가미를 수행하고 S2라는 스파 스 세트를 얻은 다음 세트 S2에서 올가미를 다시 수행하여 세트 S3을 얻습니다. . 이에 대한 방법 론적 용어가 있습니까? 또한 올가미를 두 번 사용하면 어떤 이점이 있습니까?
LASSO 회귀는 계수를 0으로 축소하여 효과적으로 모델 선택을 제공합니다. 내 데이터에는 공칭 및 연속 공변량 사이에 의미있는 상호 작용이 있다고 생각합니다. 그러나 반드시 진정한 모델의 '주요 효과'가 의미가있는 것은 아닙니다 (0이 아님). 물론 나는 진정한 모델을 알 수 없기 때문에 이것을 모른다. 저의 목표는 실제 모델을 찾고 가능한 한 밀접하게 …
선형 모델 의 경우 수축 항은 항상 입니다.P ( β )y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) 바이어스 (절편) 항 축소하지 않는 이유는 무엇입니까 ? 신경망 모델에서 바이어스 용어를 줄여야합니까?β0β0\beta_0
정밀도는 다음과 같이 정의됩니다. p = true positives / (true positives + false positives) 로, 즉를 정확 true positives하고 false positives, 정밀도가 한 접근 방식 0? 리콜에 대한 동일한 질문 : r = true positives / (true positives + false negatives) 현재이 값을 계산 해야하는 통계 테스트를 구현 중이며 때로는 …
James-Stein 추정기에 대해 읽었습니다. 이 노트 에서는 다음과 같이 정의 됩니다. θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X 나는 증거를 읽었지만 다음 진술을 이해하지 못합니다. 기하학적으로 James–Stein 추정기는 각 성분을 원점으로 축소합니다 .XXX " X의 각 구성 요소를 XXX원점으로 축소 "는 정확히 무엇을 의미합니까? 내가 좋아하는 뭔가 생각 ∥θ^−0∥2<∥X−0∥2,‖θ^−0‖2<‖X−0‖2,\|\hat{\theta} - 0\|^2 < \|X …
브래들리 에프론 (Bradley Efron)과 칼 모리스 (Carl Morris) 의 1977 Scientific American 논문에서 "Stein 's Paradox in Statistics"의 James-Stein Shrinkage factor 계산에 대한 질문이 있습니다 . 나는 야구 선수에 대한 데이터를 수집했고 아래에 주어진다 : Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 …