«lasso» 태그된 질문

예측 모델을 구축 할 때 정규화의 이점에 대해 알고 있습니다 (바이어스 vs. 분산, 과적 합 방지). 그러나 회귀 모델의 주요 목적이 계수에 대한 추론 일 때 정규화 (lasso, ridge, elastic net)를 수행하는 것이 좋은 아이디어인지 궁금합니다. 나는 사람들의 생각과이를 다루는 학술지나 비 학술 기사에 대한 링크를 듣고 싶습니다.

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

LASSO 회귀 시나리오에서 와이= Xβ+ ϵ와이=엑스β+ϵy= X \beta + \epsilon , LASSO 추정치는 다음 최적화 문제에 의해 제공됩니다. 분β| | 와이− Xβ| | +τ| | β| |1분β||와이−엑스β||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 에 관한 배포 가정이 있습니까?ϵϵ\epsilon OLS 시나리오에서는 ϵϵ\epsilon 이 독립적이며 정규적으로 배포 될 것으로 예상합니다 . …

18 regression  lasso  assumptions  residuals 

LASSO 및 능선과 같은 페널티 회귀 추정기는 특정 이전의 베이지안 추정기에 해당한다고합니다. 고정 튜닝 매개 변수의 경우 이전에 해당하는 구체적인 것이 있다고 생각합니다 (베이지안 통계에 대해 충분히 알지 못함). 이제 잦은 주의자는 교차 검증을 통해 튜닝 매개 변수를 최적화합니다. 그렇게하는 베이지안이 있습니까, 전혀 사용됩니까? 아니면 베이지안 접근 방식이 데이터를보기 전에 …

17 bayesian  lasso  ridge-regression 

범주 형 변수 예측 변수와 연속 형 예측 변수가있는 LASSO를 실행하고 있습니다. 범주 형 변수에 대한 질문이 있습니다. 내가 이해하는 첫 번째 단계는 각각을 인형으로 나누고 공정한 처벌을 위해 표준화 한 다음 회귀하는 것입니다. 더미 변수를 처리하기위한 몇 가지 옵션이 있습니다. 각 요인에 대해 모형 중 하나만 제외하고 모두 포함 …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

연속 종속 변수 y 와 순서 변수 X 1을 포함한 독립 변수가 주어지면 선형 모형을 R어떻게 적합 합니까? 이 유형의 모델에 대한 논문이 있습니까?

17 r  regression  lasso  ordinal-data  predictor 

상대적으로 낮은 차원 설정 (n >> p)에서 피처 선택을 위해 올가미를 사용하고 있습니다. 올가미 모델을 피팅 한 후, 0이 아닌 계수를 갖는 공변량을 사용하여 페널티가없는 모델을 피팅하려고합니다. 올가미가 나에게 줄 수없는 편견없는 견적을 원하기 때문에이 작업을 수행하고 있습니다. 또한 편견없는 추정치에 대한 p- 값과 신뢰 구간을 원합니다. 이 주제에 관한 …

17 regression  feature-selection  lasso  unbiased-estimator 

150 개의 기능이 있으며 그 중 많은 기능이 서로 밀접하게 관련되어 있습니다. 내 목표는 범위가 1-8 인 이산 변수의 값을 예측하는 것입니다 . 내 샘플 크기는 550 이고 10 배 교차 검증을 사용하고 있습니다. AFAIK는 정규화 방법 (Lasso, ElasticNet 및 Ridge) 중에서 Ridge가 기능 간의 상관 관계에보다 엄격합니다. 그래서 Ridge를 …

17 regression  lasso  regularization  ridge-regression  elastic-net 

LASSO 회귀를 설명 할 때 다이아몬드와 원의 다이어그램이 종종 사용됩니다. LASSO의 구속 조건의 모양이 다이아몬드이기 때문에, 가장 작은 제곱 솔루션은 다이아몬드의 모서리에 닿아 일부 변수가 축소 될 수 있다고합니다. 그러나 능선 회귀에서는 원이기 때문에 종종 축에 닿지 않습니다. 축을 건드릴 수 없거나 LASSO보다 특정 매개 변수를 축소 할 가능성이 낮은 …

16 regression  lasso  ridge-regression 

고차원 회귀 영역에 대한 연구를 읽으려고 노력하고 있습니다. 경우 보다 큰 이며, . 이 용어처럼 보인다 회귀 추정량에 대한 수렴 속도 측면에서 종종 나타납니다.피피p엔엔nP > > N피>>엔p >> n로그p / n로그⁡피/엔\log p/n 예를 들어, 여기서 식 (17)은 올가미 적합 가 β^β^\hat{\beta}1엔∥ Xβ^− Xβ∥22= O피( σ로그피엔−−−−−√∥ β∥1).1엔”엑스β^−엑스β”22=영형피(σ로그⁡피엔”β”1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 …

16 regression  lasso  convergence  high-dimensional 

데이터 세트 시작하여 올가미를 적용하고 솔루션 β L을 구하면 데이터 세트 ( X S , Y )에 올가미를 다시 적용 할 수 있습니다 . 여기서 S 는 0이 아닌 세트입니다. ''LLASO ''솔루션이라고 불리는 솔루션 β R L 을 얻기 위해 β L의 색인 (내가 틀렸다면 나를 교정하십시오!) 솔루션 β L …

16 regression  optimization  lasso  regularization  shrinkage 

올가미 또는 릿지 회귀에서는 종종 또는 α로 불리는 수축 매개 변수를 지정해야합니다 . 이 값은 종종 훈련 데이터에서 여러 가지 다른 값을 확인하고 테스트 데이터에서 어떤 R 2 가 가장 좋은지 확인함으로써 교차 검증을 통해 선택됩니다 . 확인해야 할 값의 범위는 무엇입니까? 그것은이다 ( 0 , 1 ) ?λλ\lambdaαα\alpha아르 자형2아르 …

16 regression  lasso  regularization  ridge-regression  penalized 

일부 정규화와 선형 회귀를 고려 : 예 찾기 것을 최소화 | | A x − b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 일반적으로 A의 열은 평균이 0이고 단위 규범을 갖도록 표준화되고 는 평균이 0이되도록 중앙에 배치됩니다. 표준화 및 센터링 사유에 대한 나의 이해가 …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ 이 글의 상단을 보면 L2 규범에는 고유 한 솔루션이 있고 L1 규범에는 아마도 많은 솔루션이 있다고 언급합니다. 나는 정규화 측면에서 이것을 이해하지만 손실 함수에서 L1 규범 또는 L2 규범을 사용하는 관점에서는 이해하지 못합니다. 스칼라 x (x ^ 2 및 | x |)의 함수 그래프를 보면 두 가지 고유 한 …

16 regression  lasso  regularization 

선형 회귀 모델에서 LASSO, 릿지 및 탄성 그물 유형의 정규화를 알고 있습니다. 질문: 이 (또는 유사한) 불이익 추정을 ARIMA 모델링에 적용 할 수 있습니까 (빈 부분이 아닌 MA 부분이 있는가)? pmaxpmaxp_{max}qmaxqmaxq_{max}피⩽p해요 X를p⩽pma엑스p \leqslant p_{max}q⩽ q해요 X를q⩽큐미디엄ㅏ엑스q \leqslant q_{max} 추가 질문 은 다음과 같습니다. 모든 항을 ( , q_ {max} ) …

15 time-series  arima  lasso  regularization  ridge-regression 

나는 갈 수 있는지 여부를 확인하려 능선 회귀 , LASSO , 주성분 회귀 (PCR), 또는 부분 최소 제곱 변수 / 기능 (의 수가 많은 경우 상황에서 (PLS) ppp ) 및 샘플의 작은 수 ( n<pn<pn np>10np>10np>10n 변수 ( 및 Y )는 서로 다른 각도로 서로 관련 되어 있습니다.XXXYYY 내 질문은이 …

15 regression  pca  lasso  ridge-regression  partial-least-squares