올가미 제제 사이의 연결

이 질문은 멍청 할 수도 있지만 올가미 회귀 의 두 가지 다른 공식이 있음을 알았습니다 . 우리는 알고 올가미 문제는 목적이 광장 손실 플러스로 구성된 최소화하는 것입니다$L$-1 페널티 기간, 다음과 같이 표현

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \;$$

그러나 종종 올가미 추정기가

$$\hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \}$$

내 질문은 동일합니까? \ frac {1} {2n} 이라는 용어는 어디에 있습니까 ? $\frac {1}{2n}$두 제제 사이의 연결은 분명하지 않습니다.

[업데이트] 내가 물어봐야 할 또 다른 질문은

왜 두 번째 공식이 있습니까? 이론적으로 또는 계산적으로 문제를 그런 식으로 공식화하면 어떤 이점이 있습니까?

항상 재조정 할 수 있기 때문에 실제로 동등합니다 (@whuber의 의견 참조). 이론적 인 관점에서, 그것은 편의상의 문제이지만 내가 아는 한 필요하지 않습니다. 계산 관점에서 볼 때 실제로 상당히 성가 시므로 정규화를 사용하는 알고리즘을 설계하는 경우 일반적으로 첫 번째 공식을 사용합니다.$\lambda$$1/(2n)$

작은 배경 이야기 : 처음으로 불이익을받는 방법에 대해 배우기 시작했을 때, 나는 작업의 어느 곳에서나 가지고 다니는 것에 짜증이 났기 때문에 무시하는 것을 선호했습니다. 당시 제 작업은 주로 계산 작업이었습니다. 더 최근에는 이론적 인 작업을 해왔으며 필수 불가결 하다는 것을 알았습니다 대 비교 ).$1/(2n)$$1/(2n)$$1/n$

자세한 내용 : 샘플 크기의 함수로 올가미의 동작을 분석 할 때 , 자주 IID 확률 변수의 합을 처리해야하고, 연습에 의해 정상화 후 같은 금액을 분석하는 것이 일반적으로 더 편리 - -많은 수의 법칙 / 중심 한계 정리 (또는 당신이 공상하고, 측정의 집중력과 경험적 프로세스 이론을 원한다면) 손실 앞에 항이 없으면 결국 분석 끝에 무언가의 크기를 조정하여 일반적으로 시작하는 것이 더 좋습니다. 은 어떤 성가신 요인을 상쇄하기 때문에 편리하다$n$$n$$1/n$$1/2$$2$ 분석에서 (예를 들어, 제곱 손실 항의 미분을 취할 때).

이것을 생각하는 또 다른 방법은 이론을 수행 할 때 일반적으로 증가함에 따라 솔루션의 동작에 관심이 있다는 것입니다. 즉, 은 고정 된 수량이 아닙니다. 실제로 일부 고정 데이터 세트에서 Lasso를 실행할 때 은 실제로 알고리즘 / 계산 관점에서 고정되어 있습니다. 따라서 정규화 요소를 추가로 사용하는 것이 그다지 도움이되지는 않습니다.$n$$n$$n$

이것들은 편의상의 성가신 것처럼 보일지 모르지만, 이러한 종류의 불평등을 다루는 데 충분한 시간을 보낸 후에 을 사랑하는 법을 배웠습니다 .$1/(2n)$