수축이란 무엇입니까?

수축이란 단어는 특정 원에서 많이 발생합니다. 그러나 수축이란 명확한 정의가없는 것 같습니다. 시계열 (또는 일부 프로세스의 관측치 모음)이있는 경우 시리즈에서 경험적 수축 유형을 측정 할 수있는 다른 방법은 무엇입니까? 내가 말할 수있는 다른 유형의 이론적 수축은 무엇입니까? 수축이 예측에 어떻게 도움이 될 수 있습니까? 사람들이 좋은 통찰력이나 참고 자료를 제공 할 수 있습니까?

1961 년 제임스 스타 인은 "이차 손실과 평가"라는 글 게시 https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173을 . 수축이라는 용어를 구체적으로 설명하지는 않지만 일반 데이터의 일반적인 MLE (각 구성 요소의 샘플 평균)보다 위험 (예상 손실)이 적은 고차원 (실제로는 3 개의 매개 변수 위치) 통계에 대한 최소 최대 추정량에 대해 설명합니다. . 브래들리 에프론 (Bradley Efron)은 "전쟁 수학적 통계의 가장 놀라운 정리"를 발견했다. 이 기사는 3,310 번 인용되었습니다.

1983 년 Copas는 "수축"이라는 용어를 만들기 위해 첫 번째 기사 인 회귀, 예측 및 수축을 작성합니다. 초록에 암시 적으로 정의되어 있습니다.

새로운 데이터에 대한 회귀 예측 변수의 적합은 원래 데이터에 대한 적합보다 거의 항상 악화됩니다. 이러한 축소를 예상하면 특정 가정 하에서 최소 제곱보다 예측 평균 제곱 오차가 균일하게 낮은 Stein 유형 예측 변수가 생성됩니다.

그리고 모든 연속적인 연구에서, 축소는 허용 가능한 및 / 또는 최소 추정량을 찾는 맥락에서 예측 및 추정의 표본 외 유효성에 대한 운영 특성 (및 추정치)을 나타내는 것으로 보입니다.

이것은 정규화에 관한 것입니다. 커브를 맞추고 제곱 손실 함수를 사용한다고 가정합니다 (다른 것을 선택할 수 있음). 으로fit해당 곡선을 생성 한 프로세스를 제어하는 ​​매개 변수를 복구하려고합니다. 이제 100 번째 다항식 (예를 들어)을 사용하여이 곡선을 맞추고 싶다고 상상해보십시오. 커브의 모든 꼬임과 노이즈를 과도하게 맞추거나 포착 할 가능성이 높습니다. 또한, 주어진 훈련 데이터 간격을 벗어난 예측 능력은 매우 열악 할 것입니다. 따라서 정규화 항은 정규화 계수 (l_1, l_2 또는 custom)를 곱한 가중치로 목적 함수에 추가됩니다. 이해하기 쉬운 l_2의 경우, 이는 큰 파라미터 값이 일명 수축을 줄 이도록하는 효과가 있습니다. 정규화 또는 축소는 알고리즘을 더 나은 솔루션이 될 수있는 솔루션으로 유도하는 것으로 생각할 수 있습니다.