GLM과 Elastic Net을 사용하여 관련 기능을 선택하고 선형 회귀 모델을 작성하고 싶습니다 (예 : 예측과 이해 모두 상대적으로 적은 매개 변수로 남겨 두는 것이 좋습니다). 출력은 연속적입니다. 그것은이다 당 유전자 의 경우. 패키지 에 대해 읽었 지만 다음 단계에 대해 100 % 확신하지 못합니다.200002000020000505050glmnet CV를 수행 하여 입력 데이터가 주어지면 …
내가 사용 auto.arima () 의 기능을 예측 공변량의 다양한 ARMAX 모델에 맞게 패키지로 제공된다. 그러나 종종 선택할 변수가 많으며 대개 하위 집합으로 작동하는 최종 모델로 끝납니다. 나는 인간이고 편견의 영향을 받기 때문에 변수 선택에 대한 임시 기술을 좋아하지 않지만 교차 유효성 검사 시계열은 어렵 기 때문에 사용 가능한 변수의 다른 …
Zou & Hastie (2005) 최초의 탄성 그물 종이 탄성 그물을 통한 정규화 및 변수 선택 은 선형 회귀에 대한 탄성 그물 손실 함수를 도입했습니다 (여기서 모든 변수가 단위 분산에 중심을두고 스케일링되었다고 가정) : 이지만 "순진 탄력적 그물"이라고합니다. 그들은 이중 수축 (라소와 릿지)을 수행하고, 과도하게 수축하는 경향이 있으며, 다음과 같이 결과 …
탄력적 그물 회귀에서 람다의 역할을 이해합니다. 교차 검증 된 오류를 최소화하는 람다의 값 인 lambda.min을 선택하는 이유를 이해할 수 있습니다. 내 질문은 통계 문헌에서 lambda.1se를 사용하는 것이 좋습니다. 즉, CV 오류와 하나의 표준 오류를 최소화하는 lambda의 값 입니까? 나는 공식적인 인용이나 심지어 이것이 종종 가치가있는 이유를 찾지 못하는 것 같습니다. …
LASSO ( ) 및 Ridge ( )와 같은 일부 페널티 함수 및 근사값은 잘 연구 되었으며 회귀 분석에서 이러한 점을 비교하는 방법에 대해 살펴 봅니다.엘1L1L_1엘2L2L_2 브리지 페널티에 대해 읽었습니다. 이는 일반 페널티입니다. 이것을 \ gamma = 1 인 LASSO 와 \ gamma = 2 인 Ridge와 비교 하여 특별한 경우를 …
소개 : 고전적인 "큰 p, 작은 n 문제"의 데이터 집합이 있습니다. 사용 가능한 샘플 수는 n = 150이고 가능한 예측 변수 수는 p = 400입니다. 결과는 연속 변수입니다. 가장 중요한 "설명자", 즉 결과를 설명하고 이론을 세우는 데 가장 적합한 후보자를 찾고 싶습니다. 이 주제에 대한 연구 후 LASSO와 Elastic Net이 …
0에서 1 사이 glmnet의 그리드에서 람다 값을 선택하여 R 의 패키지를 사용하여 건강 관리 데이터 세트에서 탄력적 그물 로지스틱 회귀를 수행하고 있습니다. 약식 코드는 다음과 같습니다.αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} 씩 증가하면서 에서 까지의 각 알파 …
예측 변수 축소 / 선택을위한 탄력적 순 절차에 실제로 관심이 있습니다. 매우 강력 해 보입니다. 그러나 과학적 관점에서 계수를 얻은 후에는 어떻게해야할지 잘 모릅니다. 어떤 질문에 대답하고 있습니까? 이것들은 그 결과에 가장 큰 영향을 미치는 변수 들이며 이것들은 검증하는 동안 최고의 분산 / 바이어스 비율을 제공하는 계수들입니까? 물론 이것은 전통적인 …
이 올가미 플롯 (glmnet)에서 결론을 내릴 수 있는 질문 은 단조롭지 않은 올가미 추정기의 솔루션 경로를 보여줍니다. 즉, 일부 계수기는 축소되기 전에 절대 값으로 증가합니다. 나는이 모델들을 몇 가지 다른 종류의 데이터 세트에 적용했으며이 행동을 "와일드하게"본 적이 없으며 오늘날까지도 항상 단조로운 것으로 가정했습니다 . 솔루션 경로가 단조임을 보장하는 명확한 조건이 …
예측 모델을 구축 할 때 정규화의 이점에 대해 알고 있습니다 (바이어스 vs. 분산, 과적 합 방지). 그러나 회귀 모델의 주요 목적이 계수에 대한 추론 일 때 정규화 (lasso, ridge, elastic net)를 수행하는 것이 좋은 아이디어인지 궁금합니다. 나는 사람들의 생각과이를 다루는 학술지나 비 학술 기사에 대한 링크를 듣고 싶습니다.
페널티 를 갖는 선형 회귀 는 계수에 앞서 가우시안이 주어진 MAP 추정치를 찾는 것과 동일 하다는 것이 잘 알려져 있습니다. 마찬가지로, 사용 L 1 패널티 것은 종래와 같은 라플라스 분포를 사용하는 것과 동일하다.l2l2l^2l1l1l^1 및 l 2 정규화 의 일부 가중치 조합을 사용하는 것은 드문 일이 아닙니다 . 이것이 계수에 대한 …
자동차 분류 광고 사이트에서 제공되는 가격과 기능을 사용하여 자동차 가격을 예측하기위한 최상의 모델을 식별하려고합니다. 이를 위해 scikit-learn 라이브러리의 몇 가지 모델과 pybrain 및 neurolab의 신경망 모델을 사용했습니다. 지금까지 사용한 접근법은 일부 모델 (기계 학습 알고리즘)을 통해 고정 된 양의 데이터를 실행 하고 scikit-learn 메트릭 모듈로 계산 된 R2R2R^2 값을 비교하는 …
150 개의 기능이 있으며 그 중 많은 기능이 서로 밀접하게 관련되어 있습니다. 내 목표는 범위가 1-8 인 이산 변수의 값을 예측하는 것입니다 . 내 샘플 크기는 550 이고 10 배 교차 검증을 사용하고 있습니다. AFAIK는 정규화 방법 (Lasso, ElasticNet 및 Ridge) 중에서 Ridge가 기능 간의 상관 관계에보다 엄격합니다. 그래서 Ridge를 …