«ridge-regression» 태그된 질문

계수를 0으로 축소하는 회귀 모형의 정규화 방법입니다.

1
올가미, 릿지 또는 탄성 그물 솔루션 경로가 모노톤 인 명확한 조건이 있습니까?
이 올가미 플롯 (glmnet)에서 결론을 내릴 수 있는 질문 은 단조롭지 않은 올가미 추정기의 솔루션 경로를 보여줍니다. 즉, 일부 계수기는 축소되기 전에 절대 값으로 증가합니다. 나는이 모델들을 몇 가지 다른 종류의 데이터 세트에 적용했으며이 행동을 "와일드하게"본 적이 없으며 오늘날까지도 항상 단조로운 것으로 가정했습니다 . 솔루션 경로가 단조임을 보장하는 명확한 조건이 …
3
능선 회귀를 사용할 때 계수 표준 오차를 어떻게 추정 할 수 있습니까?
다중 다중 선형 데이터에서 능형 회귀를 사용하고 있습니다. OLS를 사용하면 다중 공선 성으로 인해 계수에서 큰 표준 오류가 발생합니다. 능선 회귀가이 문제를 처리하는 방법이라는 것을 알고 있지만, 내가 본 능선 회귀의 모든 구현에서 계수에 대해 표준 오류가보고되지 않았습니다. 특정 계수의 표준 오차가 얼마나 많이 감소 하는지를보고 능선 회귀가 얼마나 도움이되는지 …
1
원시, 이중 및 커널 릿지 회귀의 차이점
Primal , Dual 및 Kernel Ridge Regression 의 차이점은 무엇입니까 ? 사람들은 세 가지를 모두 사용하고 있으며 다른 출처에서 사용하는 다른 표기법으로 인해 따르기가 어렵습니다. 누군가이 단어의 차이점을 간단한 단어로 말해 줄 수 있습니까? 또한 각각의 장단점은 무엇이며 복잡성은 무엇입니까?
2
능선 회귀 분류 기가 왜 텍스트 분류에 잘 작동합니까?
텍스트 분류를 실험하는 동안 SVM, NB, kNN 등과 같이 텍스트 마이닝 작업에 더 일반적으로 언급되고 적용되는 분류기 중 테스트를 지속적으로 능가하는 능선 분류기 결과를 찾았습니다. 매개 변수에 대한 간단한 조정을 제외 하고이 특정 텍스트 분류 작업에서 각 분류자를 최적화하는 데 도움이됩니다. 이러한 결과는 Dikran Marsupial 에서도 언급 되었습니다 . 통계 …
3
통계적 추론을 수행 할 때 정규화 사용
예측 모델을 구축 할 때 정규화의 이점에 대해 알고 있습니다 (바이어스 vs. 분산, 과적 합 방지). 그러나 회귀 모델의 주요 목적이 계수에 대한 추론 일 때 정규화 (lasso, ridge, elastic net)를 수행하는 것이 좋은 아이디어인지 궁금합니다. 나는 사람들의 생각과이를 다루는 학술지나 비 학술 기사에 대한 링크를 듣고 싶습니다.
2
베이지안 관점에서 LASSO 및 릿지 : 튜닝 매개 변수는 어떻습니까?
LASSO 및 능선과 같은 페널티 회귀 추정기는 특정 이전의 베이지안 추정기에 해당한다고합니다. 고정 튜닝 매개 변수의 경우 이전에 해당하는 구체적인 것이 있다고 생각합니다 (베이지안 통계에 대해 충분히 알지 못함). 이제 잦은 주의자는 교차 검증을 통해 튜닝 매개 변수를 최적화합니다. 그렇게하는 베이지안이 있습니까, 전혀 사용됩니까? 아니면 베이지안 접근 방식이 데이터를보기 전에 …
3
능선 회귀 구현 :
Python / C 모듈에서 Ridge Regression을 구현하고 있으며이 "작은"문제를 겪었습니다. 아이디어는 "통계 학습의 요소"에 대한 65 페이지의 플롯 과 같이 유효 간격이 어느 정도 동일하게 간격을두고 샘플링하는 것입니다. 즉, 샘플 : df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda}, 여기서d2idi2d_i^2 는~에서행렬의 고유 값입니다.. 첫 번째 한계를 설정하는 쉬운 방법은\ lambda _ {\ max} = \ sum_i ^ …
2
기능이 서로 관련되어있을 때 Lasso 또는 ElasticNet이 Ridge보다 성능이 우수한 이유
150 개의 기능이 있으며 그 중 많은 기능이 서로 밀접하게 관련되어 있습니다. 내 목표는 범위가 1-8 인 이산 변수의 값을 예측하는 것입니다 . 내 샘플 크기는 550 이고 10 배 교차 검증을 사용하고 있습니다. AFAIK는 정규화 방법 (Lasso, ElasticNet 및 Ridge) 중에서 Ridge가 기능 간의 상관 관계에보다 엄격합니다. 그래서 Ridge를 …
1
역 능선 회귀 : 주어진 반응 행렬과 회귀 계수, 적합한 예측 변수 찾기
표준 OLS 회귀 문제를 고려하십시오\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}YY\YXX\Xββ\BL=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2.β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. "역전 된"문제를 제기 할 수도 있습니다 : 와 , 산출하는 를 찾으십시오 . 즉, . 즉, I는 응답 행렬이 와 계수 벡터 난에 근접 계수를 산출 할 예측기 행렬 찾을 . 물론 이것은 솔루션 의 OLS 회귀 문제이기도합니다.β * X …
2
능선 회귀가 올가미처럼 일부 계수를 0으로 축소하지 않는 이유는 무엇입니까?
LASSO 회귀를 설명 할 때 다이아몬드와 원의 다이어그램이 종종 사용됩니다. LASSO의 구속 조건의 모양이 다이아몬드이기 때문에, 가장 작은 제곱 솔루션은 다이아몬드의 모서리에 닿아 일부 변수가 축소 될 수 있다고합니다. 그러나 능선 회귀에서는 원이기 때문에 종종 축에 닿지 않습니다. 축을 건드릴 수 없거나 LASSO보다 특정 매개 변수를 축소 할 가능성이 낮은 …
1
벌점 형 회귀 분석에서 수축 매개 변수에 대해 가능한 가능한 값 범위는 무엇입니까?
올가미 또는 릿지 회귀에서는 종종 또는 α로 불리는 수축 매개 변수를 지정해야합니다 . 이 값은 종종 훈련 데이터에서 여러 가지 다른 값을 확인하고 테스트 데이터에서 어떤 R 2 가 가장 좋은지 확인함으로써 교차 검증을 통해 선택됩니다 . 확인해야 할 값의 범위는 무엇입니까? 그것은이다 ( 0 , 1 ) ?λλ\lambdaαα\alpha아르 자형2아르 …
2
수축이 실제로 작동하는 이유는 무엇입니까? 0에 대해 특별한 점은 무엇입니까?
이 사이트에는 이미 같은 문제에 대한 게시물이 있습니다. 왜 수축이 작동합니까? 그러나 답변이 인기가 있지만 질문의 요지가 실제로 해결되지 않았다고 생각합니다. 추정에 약간의 편향을 도입하면 분산이 감소하고 추정 품질이 향상 될 수 있음이 분명합니다. 하나: 1) 왜 편향 도입으로 인한 피해가 분산 이득과 비교하여 적습니까? 2) 왜 항상 작동합니까? 예를 …
1
ARIMA 모델의 정규화
선형 회귀 모델에서 LASSO, 릿지 및 탄성 그물 유형의 정규화를 알고 있습니다. 질문: 이 (또는 유사한) 불이익 추정을 ARIMA 모델링에 적용 할 수 있습니까 (빈 부분이 아닌 MA 부분이 있는가)? pmaxpmaxp_{max}qmaxqmaxq_{max}피⩽p해요 X를p⩽pma엑스p \leqslant p_{max}q⩽ q해요 X를q⩽큐미디엄ㅏ엑스q \leqslant q_{max} 추가 질문 은 다음과 같습니다. 모든 항을 ( , q_ {max} ) …
1
설정의 회귀 : 정규화 방법 (올가미, PLS, PCR, 융기)을 선택하는 방법은 무엇입니까?
나는 갈 수 있는지 여부를 확인하려 능선 회귀 , LASSO , 주성분 회귀 (PCR), 또는 부분 최소 제곱 변수 / 기능 (의 수가 많은 경우 상황에서 (PLS) ppp ) 및 샘플의 작은 수 ( n<pn<pn np>10np>10np>10n 변수 ( 및 Y )는 서로 다른 각도로 서로 관련 되어 있습니다.XXXYYY 내 질문은이 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.