"규정 화"라는 용어의 기원

학생들에게 개념을 소개 할 때, 용어가 어디에서 나오는지 말하는 것이 재미 있다는 것을 알게됩니다 (예 : "회귀"는 흥미로운 기원을 가진 용어입니다). 통계 / 머신 러닝에서 "정규화"라는 용어의 이력 / 배경을 밝힐 수 없었습니다.

그렇다면 정규화 라는 용어의 기원은 무엇 입니까?

Matthew Gunn의 기고 와 유사하게 이것은 실제로 해답이 아니라 그럴듯한 후보자입니다.

나는 또한 Tikhonov 정규화 의 맥락에서, 특히 지구 물리학 의 (선형) 역 문제 의 맥락에서 "정규화"라는 용어를 처음 들었다 . 흥미롭게도, 그것이 저의 연구 영역 때문일 것으로 생각했지만 (즉, 내 사용자 이름을 보았습니다), 분명히 Tikhonov는 실제로 그 영역에서 그의 많은 작업을 수행했습니다!

내 직감은 현대 "정규화"접근 가능성이 있다는 것입니다 않았다 티호 노프의 작품으로 유래. 이 추론을 바탕으로 여기에 공헌 한 부분은 두 부분입니다.

첫 번째 부분은 본질적으로 (armhair-) 역사적이다. 1963 년 에 잘못 공식화 된 문제에 대한 해결책과 정규화 방법 이 "정규화"라는 용어를 처음 사용 하는 것처럼 보이지만 이것이 사실인지는 확신 할 수 없습니다. 이 참조는 Wikipedia에서 다음 과 같이 인용 됩니다.

AN Tikhonov (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151 : 501–504. "잘못 공식화 된 문제 해결 및 정규화 방법"으로 번역됩니다. 소비에트 수학. 4 : 1035-1038.

티코 노프 자신이 적어도이 작품의 일부를 러시아어로 썼다는 인상을 주었기 때문에 "레귤레이션"이라는 문구는 나중에 번역가가 만들어 낸 것일 수 있습니다. [업데이트 : 아니오, "регуляризации"= 정규화 , Cagdas Ozgenc의 논평 참조.] 또한,이 연구는 Tikhonov가 훨씬 더 오랜 시간 동안 수행 한 지속적인 연구 라인의 일부인 것으로 보입니다 . 예를 들어 종이

안드레아 니콜라 예비치 티코 노프 (1943). "반전 문제의 안정성에 관하여". "Об устойчивости обратных задач". Doklady Akademii Nauk SSSR. 39 (5) : 195–198.

그는 적어도 20 년 전에는 동일한 일반 주제에 종사했음을 보여줍니다. 그러나이 타임 라인 은 아마도 역 문제가 1943 년보다 1963 년에 훨씬 더 가깝게 시작되었음을 시사합니다.

[ 업데이트 : 1943 년 논문 의이 번역 은 여기서 " 정규성 "에 대한 용어가 " 반전 문제의 안정성 (또는 역 매핑의 연속성)" 을 나타내는 데 사용 되었다는 것을 보여줍니다 .

저의 공헌의 두 번째 부분은 "정규화"가 원래이 맥락에서 의도 된 방식에 대한 가설입니다. 매우 일반적으로 "일반적인"은 특히 곡선 및 / 또는 표면 형상을 설명 할 때 "부드러운"의 동의어로 사용됩니다. 대부분의 지구 물리학 응용에서, 원하는 솔루션은 공간적으로 분포 된 필드 의 일부 그리드 추정치 이며 Tikhonov 정규화는 매끄러움을 먼저 적용 하는 데 사용됩니다 .

Tikhonov 행렬은 일반적으로 PDE 행렬과 유사하게 릿지 회귀의 항등 행렬과 같은 이산 공간 미분 연산자 가됩니다. 이러한 그리드 / 정방향 모델의 경우 순방향 모델 행렬의 영 공간은 다음과 같습니다. 유사; 범하지 않는 결과를 오염 것 "바둑판 모드"와 같은 일 이 ).

업데이트 : 이러한 문제는 여기 내 답변에 설명되어 있습니다 .

개요

1. 또한 Tikhonov에 대한 투표권을 발 원자로 만들었습니다 (1963 년경).
2. 최초의 응용은 지구 물리학 적 역 모델링 일 수 있으므로, "레귤레이션"이라는 용어는 결과 맵 *을보다 매끄럽게 (즉, "레귤러") 만드는 것을 의미 할 수 있습니다.

(* 1943 년 논문의 업데이트 된 인용문을 바탕으로,이 문구는 사실 인 것 같습니다 ... 잘못된 이유입니다! 관련 "지도"는 격자와 필드 사이 에 있지 않았습니다 . , 그러나 정방향 모델 의 역 매핑 .)$u[x]=F[\theta]$$\theta=F^{-1}[u]$

이것은 부분 답변, 부분 긴 의견입니다. 불완전한 후보자 목록 :

1. 안드레이 티호 노프 "잘못 공식화 된 문제의 해결 및 정규화 방법." 소비에트 수학. Dokl .. Vol. 1963. Tikhonov는 Tikhonov 정규화 (리지 능형 회귀라고도 함)로 알려져 있습니다.

2. 물리학 에는 1940 년대로 거슬러 올라가는 정규화 개념이 있지만 Tikhonov 정규화와 관련이 없는가? (나는 물리학자가 아닙니다.)

3. 엔지니어링 문서 는 적어도 1880 년대로 거슬러 올라가는 강 (항법 개선을 위해) 의 정규화 에 대해 이야기 합니다.

http://books.google.com을 검색 하면 1970 년대까지 수학 및 물리학 책의 맥락에서 반복해서 "정규화"라는 용어가 널리 사용되지 않습니다.

아픈-제기 문제에 대한 해결책의 무리에서, 그것은있는 솔루션을 선택합니다 : 그것은 기술의 핵심 목표를 캡처하기 때문에 대부분 단순히 용어는 과학 용어의 자연 진화를 살아 정기적를 ,이다,

규칙에 따라

(무료 사전의 정의 )

예를 들어 목공의 매끄러운 표면을 디자인하기 위해 공용어로도 사용됩니다. 마찬가지로, 회귀 문제의 솔루션은 규칙이 재구성 된 신호의 불완전한 비트의 전체 변화 (TV)를 최소화하는 경우 (예를 들어, 기울기의 총 에너지에 의해 측정되는 경우) 보다 규칙적으로 보일 것 입니다.

이 용어는 매우 일반적이기 때문에 널리 보급되었습니다. 누구나 TV에서 L1 규범 측정 또는 의사 규범 을 사용하여 하나의 규칙을 정의 할 수 있습니다 ! 따라서이 규칙은 베이지안 통계에서 이전과 비슷한 역할을 할 수 있습니다.$\ell_0$