«regularization» 태그된 질문

LASSO 문제에 대한 계수를 얻고 싶습니다 || 와이− Xβ| | +λ | |β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. 문제는 glmnet과 lars 함수가 다른 답변을 제공한다는 것입니다. glmnet 함수의 경우 대신에 여전히 다른 답변을 얻습니다.λλ / | |와이| |λ/||Y||\lambda/||Y||λλ\lambda 이것이 예상됩니까? lars 와 glmnet 의 관계는 무엇입니까 ? glmnet이 LASSO 문제에 더 빠르다는 것을 알고 …

13 r  machine-learning  regression  lasso  regularization 

L1 정규 선형 회귀 피팅에 LARS [1] 사용과 좌표 하강 사용의 장단점은 무엇입니까? 나는 주로 퍼포먼스 측면에 관심이있다 (내 문제는 N수십만에서 p20 이하인 경향이있다 ). 그러나 다른 통찰력도 인정 될 것이다. 편집 : 내가 질문을 게시 한 후 chl은 Friedman 등의 논문 [2]에 좌표 하강이 다른 방법보다 상당히 빠른 것으로 …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

그룹 올가미가 변수 그룹의 변수 선택 및 희소성에 사용된다는 것을 읽었습니다. 이 주장의 직관을 알고 싶습니다. 왜 올가미가 올가미보다 선호됩니까? 그룹 올가미 솔루션 경로가 부분적으로 선형이 아닌 이유는 무엇입니까?

13 regression  feature-selection  lasso  regularization 

능선, 올가미 및 탄성 그물로 선택한 모델을 비교하고 싶습니다. 아래 그림은 릿지 (그림 A, 알파 = 0), 올가미 (그림 B; 알파 = 1) 및 탄성 그물 (그림 C; 알파 = 0.5)의 세 가지 방법을 모두 사용하여 계수 경로를 보여줍니다. 최적의 솔루션은 선택된 람다 값에 따라 달라지며, 이는 교차 검증을 기반으로 …

13 r  multiple-regression  modeling  regularization 

R의 패키지 'lars'를 다음 코드와 함께 사용하고 있습니다. > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

능선 회귀와 LASSO의 장단점에 대해 이미 알고 있습니다. LASSO의 경우, L1 페널티 항은 희소 계수 벡터를 생성하며, 이는 특징 선택 방법으로 볼 수 있습니다. 그러나 LASSO에는 몇 가지 제한 사항이 있습니다. 기능의 상관 관계가 높은 경우 LASSO는 그 중 하나만 선택합니다. 또한 > 인 문제의 경우 LASSO는 최대 매개 변수를 …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

기계 학습을 공부하면서이 단어들을 점점 더 많이 듣고 있습니다. 실제로 일부 사람들은 규칙의 규칙에 따라 Fields 메달을 수상했습니다. 저는 이것이 통계 물리 / 수학에서 기계 학습에 이르는 용어라고 생각합니다. 당연히, 내가 요청한 많은 사람들이 직관적으로 설명 할 수 없었습니다. 나는 드롭 아웃과 같은 방법이 정규화에 도움이된다는 것을 알고 있습니다 (=> …

12 machine-learning  self-study  terminology  regularization  definition 

누구든지 Tikhonov 정규화 (정규 최소 제곱)에 대한 온라인 (재귀) 알고리즘의 방향을 알려 줄 수 있습니까? 오프라인 설정에서 n-fold cross validation을 사용하여 λ 를 찾은 원래 데이터 세트를 사용하여 β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY 를 계산 합니다. y = x ^ T \ hat \ beta를 사용하여 주어진 x에 대해 새로운 y 값을 예측할 수 …

12 regression  machine-learning  least-squares  regularization  online 

이 질문을 두 부분으로 나누고 싶습니다. 둘 다 일반 선형 모델을 다루지 만, 첫 번째는 모델 선택을 다루고 다른 하나는 정규화를 다룹니다. 배경 : 나는 예측과 설명을 위해 GLM (선형, 로지스틱, 감마 회귀) 모델을 사용합니다. " 회귀로하는 정상적인 일 "을 언급 할 때, 나는 주로 (i) 계수에 대한 신뢰 구간, …

12 regression  model-selection  regularization 

선형 회귀 문제에 대한 L1 (lasso) 및 / 또는 탄력적 순 정규화에 대한 좌표 하강 사용을 다루는 좋은 논문이나 책이 있습니까?

12 regression  references  lasso  regularization  elastic-net 

압축 감지에서는 에 고유 한 희소 솔루션 c 가 있음을 보장하는 정리 가 있습니다 (자세한 내용은 부록 참조).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc 올가미에 대한 비슷한 정리가 있습니까? 그러한 정리가 있다면 올가미의 안정성을 보장 할뿐만 아니라 올가미에보다 의미있는 해석을 제공합니다. 올가미 …

12 regression  self-study  feature-selection  lasso  regularization 

부정적 능선 회귀 에 대한 문헌을 찾고 있습니다. 간단히 말하면 추정기 공식에서 음수 를 사용한 선형 능선 회귀의 일반화입니다 .긍정적 인 경우에는 좋은 이론이 있습니다 : 손실 함수, 제약 조건, 베이 즈 이전과 같지만 위의 수식 만 있으면 부정적인 버전으로 잃어 버린 느낌이 듭니다. 내가하고있는 일에 유용하지만 명확하게 해석하지 못합니다.β …

12 regression  regularization  ridge-regression 

다음은이를 사용하는 keras 코드 샘플입니다. from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

그동안 LASSO (최소 절대 축소 및 선택 연산자)를 공부하고 있습니다. 정규화 매개 변수의 최적 값은 교차 유효성 검사를 통해 선택할 수 있습니다. 능선 회귀 분석과 정규화를 적용하는 많은 방법에서 CV를 사용하여 최적의 정규화 매개 변수 (벌칙)를 찾을 수 있습니다. 이제 내 질문은 매개 변수의 상한 및 하한의 초기 값과 시퀀스 …

12 lasso  regularization  shrinkage 

과적 합을 피하기 위해 사람들 은 선형 회귀의 비용 함수에 정규화 매개 변수 와 함께 정규화 용어 (모델의 매개 변수의 제곱합에 비례)를 추가합니다 . 이 매개 변수 는 lagrange multiplier와 동일합니까? 정규화는 lagrange multiplier 방법과 동일합니까? 아니면이 방법들은 어떻게 연결되어 있습니까? λλλ\lambdaλλ\lambda

12 regression  optimization  regularization