사람들이 부드러운 데이터를 좋아하는 이유는 무엇입니까?

Gaussian Process Regression에 제곱 지수 커널 (SE)을 사용해야합니다. 이 커널의 장점은 다음과 같습니다. 1) 단순 : 3 개의 하이퍼 파라미터; 2) smooth :이 커널은 Gaussian입니다.

사람들이 왜 '부드러움'을 좋아합니까? 가우시안 커널은 무한한 차별화가 가능하지만 그렇게 중요합니까? (SE 커널이 인기있는 다른 이유가 있으면 알려주십시오.)

추신 : 나는 노이즈가없는 실제 세계의 대부분의 신호가 매끄 럽기 때문에 매끄러운 커널을 사용하여 모델링하는 것이 합리적 이라고 들었 습니다. 누구 든지이 개념을 이해하도록 도와 줄 수 있습니까?

" Natura non facit saltus "는 철학의 오래된 원칙입니다. 또한 아름다움과 조화가 그러한 원칙입니다. 통계에 영향을 미치는 또 다른 철학적 원칙은 질적 사고입니다. 전통적으로 우리는 효과의 크기가 아니라 효과의 유무에 대해 생각합니다. 이를 통해 가설 검정을 할 수 있습니다. 견적자는 자연에 대한 인식이 너무 정확합니다. 그대로 가져 가십시오.

통계는 인간의 인식에 도움이되어야합니다. 따라서 불연속 점은 싫어합니다. 즉시 질문 할 것이다. 왜 정확히이 부분이 불연속 적인가? 특히 밀도 추정에서 이러한 불연속 점은 대부분 실제 데이터의 비대칭 특성 때문입니다. 그러나 당신은 당신의 특정 유한 샘플에 대해 배우고 싶지 않고 근본적인 사실에 대해 배우고 싶습니다. 당신이 경우 생각 이 자연이 이동하지 않습니다, 당신은 추정량을 부드럽게 필요가있다.

엄격한 수학적 관점에서 볼 때 그 이유는 거의 없습니다. 또한 Leibniz와 Newton의 자연 현상이 부드럽 지 않은 것으로 알려졌습니다. 작업중인 자연 과학자와 상담하십시오. 부드러움 / 불연속에 대한 그의 견해에 도전 한 다음 자신의 이해에 가장 도움이되기로 결정한 것을하십시오.

실질적인 문제에는 두 가지 이유가 더 있습니다. 첫 번째는 분석 함수가 수학적으로 작업하기가 훨씬 쉬우므로 알고리즘에 대한 이론을 입증하고 더 강력한 기초를 제공한다는 것입니다.

두 번째는 감도입니다. 기계 학습자가 있다고 가정하십시오.$M$ 출력이 불연속 인 경우 $x=x_0$. 그럼 당신은 매우 다른 결과를 얻을 것이다$x_0 - \epsilon$ 과 $x_0 + \epsilon$그러나 불 연속적으로 만들었으므로 괜찮습니다. 이제 약간 다른 데이터로 모델을 훈련 시키면 ($\tilde M$), 랜덤 노이즈가 약간 다른 경우, 불연속성은 이제 $\tilde x_0$아마 아주 가까이$x_0$그러나 지금은 아니지만 일부 가치에 대해서는 $\epsilon$, $x_0 + \epsilon$ 에 대한 매우 다른 가치가 있습니다 $M$ 그리고 $\tilde M$.

문제에 따라 많은 동기가 있습니다. 그러나 아이디어는 동일합니다. 더 나은 솔루션을 달성하고 복잡성을 극복하기 위해 일부 문제에 대한 사전 지식을 추가하십시오. 더 많은 방법은 모델 선택입니다. 모델 선택 에 대한 좋은 예입니다 .

이와 관련이있는 또 다른 아이디어는 데이터 샘플의 유사성 측정 방법을 찾는 것입니다 (그러한 아이디어와 관련된 용어는 지형 매핑, 거리 측정, 매니 폴드 학습 등)입니다.

이제 광학 문자 인식이라는 실제적인 예를 살펴 보겠습니다. 캐릭터의 이미지를 가져 오면 분류자가 불일치를 처리해야합니다. 이미지를 회전, 변위 또는 크기 조정하면 이미지를 감지 할 수 있어야합니다. 또한 입력에 약간의 수정을 적용하는 경우 두 샘플 (원본과 수정 된 내용은 매우 유사하므로)로 분류기의 응답 / 동작이 약간 다를 수 있습니다. 이것은 매끄러움의 시행이 들어오는 곳입니다.

이 아이디어를 다루는 많은 논문이 있지만 이 논문 (패턴 인식, 탄젠트 거리 및 탄젠트 전파의 변형 불일치, Simard et al.)은 이러한 아이디어를 매우 자세하게 보여줍니다.