소프트 임계 값 대 올가미 벌점

지금까지 고차원 데이터 세트를 사용하여 불이익을받은 다변량 분석에서 이해 한 내용을 요약하려고하지만 소프트 임계 값 대 Lasso (또는 ) 불이익에 대한 적절한 정의를 얻는 데 어려움을 겪고 있습니다.$L_1$

보다 정확하게는, 희소 한 PLS 회귀 분석을 사용하여 게놈 데이터 ( 단일 뉴클레오티드 다형성 , 우리는 수치 변수로 간주되는 {0,1,2} 범위의 작은 대립 유전자의 빈도를 고려하는)를 포함하는 2- 블록 데이터 구조를 분석 했습니다. 연속 표현형 (개성 특성 또는 뇌 비대칭을 정량화하는 점수, 연속 변수로 취급 됨). 아이디어는 가장 영향력있는 예측 변수 (여기서는 DNA 서열의 유전자 변이)를 분리하여 개체 간 표현형 변이를 설명하는 것이 었습니다.

처음 에는 불이익을받은 PLS 회귀와 정규화 된 CCA 를 특징으로 하는 mixOmics R 패키지 (이전 integrOmics)를 사용했습니다 . R 코드를 살펴보면 , 번째 성분, (알고리즘 )에서 가장 높은 로딩 (절대 값)을 갖는 상위 변수를 선택하여 예측 변수의 "스파 스"가 단순히 유도됨을 발견했습니다. 구성 요소 에 대한 반복 및 계산 변수 로딩으로 , 각 반복에서 예측 변수 블록을 수축시킵니다 ( 스파 스 PLS : Omics 데이터 통합시 변수 선택 참조 ). 반대로 S. Keleş가 공동 작성한 spls 패키지 (참조$k$$i$$i=1,\dots, k$$k$동시 차원 축소 및 변수 선택 을위한 스파 스 부분 최소 제곱 회귀 ( 이러한 저자가 수행 한 접근 방식에 대한보다 공식적인 설명을 위해)는 형벌에 대한 벌점을 구현 합니다.$L_1$

소프트 임계 값에 따른 반복적 특징 선택과 정규화 사이에 엄격한 "희망"이 있는지는 분명하지 않습니다 . 그래서 내 질문은 : 둘 사이에 수학적 연결이 있습니까?$L_1$

참고 문헌

1. Chun, H. and Kele, S. (2010), 동시 치수 축소 및 변수 선택을위한 스파 스 부분 최소 제곱 . 왕립 통계 학회지 : 시리즈 B , 72 , 3–25.
2. Le Cao, K.-A., Rossouw, D., Robert-Granie, C. 및 Besse, P. (2008), Omics 데이터 통합시 변수 선택을위한 스파 스 PLS . 유전학 및 분자 생물학의 통계적 응용 , 7 , 제 35 조.

내가 말할 것은 회귀에 대한 것이지만 PLS에도 마찬가지입니다. 그래서 당신은 에서 제한을 얼마나 많이 적용하는지에 대해 depeding하므로 다양한 '답변'을 가지지 만 두 번째 해결책은 가능한 대답 만 허용 합니다 (여기서 는 변수의 수임) <-> '절단'제형에서보다 제형 에서 더 많은 용액 .$l1$$p$$p$$l1$

L $L_1$ 불이익은 최적화 문제의 일부입니다. 소프트 임계 값은 알고리즘의 일부입니다. 때때로 불이익은 소프트 임계 값으로 이어집니다.$L_1$

회귀 분석의 경우, 행렬 의 열 이 직교 일 때 최소 제곱 (올가미)이 소프트 임계 값이 발생합니다 (행이 다른 샘플에 해당한다고 가정). 행렬 이 각 행에서 단일 로 구성 되고 다른 곳에서는 0으로 구성된 특별한 평균 추정 사례를 고려할 때 도출하는 것이 정말 간단 합니다. X X $L_1$$X$$X$$1$

일반적인 행렬의 경우 순환 좌표 하강을 통해 Lasso 솔루션을 계산하면 본질적으로 반복적 인 소프트 임계 값이 발생합니다. http://projecteuclid.org/euclid.aoas/1196438020을 참조 하십시오 .$X$