범용 함수 근사

보편적 인 근사 정리를 통해 단일의 숨겨진 계층과 임의의 활성화 기능을 가진 신경망이 모든 연속 기능에 근접 할 수 있다는 것이 알려져 있습니다.

범용 함수 근사 기인 다른 모델

machine-learning function approximation

— 고르다
소스

이 질문에 대한 답을 찾기 위해이 사이트에 가입했습니다.

— Prasad Raghavendra

이것은 회귀 주제 아래 통계 문헌에서 광범위하게 취급됩니다. 여기서 두 가지 표준 참조는 Wasserman의 저서 "모든 비모수 통계"와 Tsybakov의 "비모수 추정에 대한 소개"입니다. 나는 표준적인 것들에 대해 간단히 이야기하고 통계 외부에 포인터를 제공하려고 노력할 것입니다 (이것은 일반적인 주제이며 다른 분야는 다른 문화를 가지고 있습니다 : 다른 종류의 이론을 증명하고 다른 가정을하십시오).

(때때로 Nadaraya-Watson Estimator라고도하는 커널 회귀 분석기) 여기에서는 언제 어디서나 가까운 값의 가중치 조합으로 함수를 작성합니다. 좀 더 구체적으로, 이것은 통계 문헌에 있기 때문에 일반적으로 일부 분포에서 가져온 몇 가지 예 하고 커널 수정하십시오 (이것으로 생각할 수 있음) 가우스,하지만 제로 평균) 가장 중요한, 그리고 쓰기 무엇 $((x_i,f(x_i)))_{i=1}^n$ $K$ 여기서,(이 작은 등의 거리에 더 민감증가). 보장은으로 왜곡의 확률 적 기준 (최상의 기대치, 높은 확률 등)이 0이된다는 것입니다. (가어떻게보이는지는중요하지 않습니다.을 선택하는 방법이 더 중요합니다.)
$\hat{에프} (엑스) : = \sum_{나는} 에프 ({엑스}_{나는}) (\frac{케이 (씨_{엔} (엑스 - {엑스}_{나는}))}{\sum_{제이} 케이 (씨_{엔} (엑스 - {엑스}_{제이}))}),$ $\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$ $c_n\to\infty$ $n$ $n\to\infty$ $K$ $c_n$
$L^2$ $\hat f$ $f$ . 여기서 접근 방법의 다양성을 이해하기 위해 깔끔한 논문은 Rahimi & Recht의 "임의의 염기를 가진 함수의 근사치"입니다. 아마도 나는이 모든 것들의 할아버지가 푸리에 확장이라고 말할 것입니다. Mallat의 Wavelets에 관한 책에는 이것에 관한 좋은 자료가 많이 있습니다.
또 다른 방법은 함수를 트리로 보는 것입니다. 각 수준에서 도메인의 일부 파티션으로 작업하고 예를 들어 평균점을 반환합니다. (트리의 각 가지 치기도 파티션을 제공합니다.) 한계에서이 파티션의 우수성은 더 이상 기능을 분리하지 않으며 정확하게 재구성했습니다. 이 파티션을 선택하는 가장 좋은 방법은 어려운 문제입니다. "회귀 트리"에서이를 Google에 표시 할 수 있습니다.
(다항식 방법; 스플라인 및 기타 보간 기술 참조) Taylor의 정리에 따르면, 사용자는 올바르게 동작하는 기능에 임의로 접근 할 수 있다는 것을 알고 있습니다. 이것은 (즉, 단지 라그랑주 보간 다항식을 사용) 아주 기본적인 접근 방법처럼 보이지만, 상황이 흥미있어 어디 결정에 할 수 있는보간 점. 이것은 수치 적분의 맥락에서 광범위하게 조사되었다; "clenshaw-curtis quadrature"및 "gaussian quadrature"주제에서 놀라운 수학을 찾을 수 있습니다. 여기에 가정과 보증의 유형이 위에 표시된 것과 크게 다르기 때문에 이것을 여기에 던지고 있습니다. 나는이 분야가 마음에 들지만이 방법들은 차원의 저주로 인해 심하게 고통받습니다. 적어도 이것이 이전보다 토론이 덜한 이유라고 생각합니다. 다변량 도메인에 대한 샘플링 기법).

함수 클래스에 대한 다양한 제한을 고려하여 위의 인스턴스를 작성하여 광범위하게 사용되는 다른 모든 시나리오를 얻을 수 있습니다. 예를 들어, 부울 값 함수의 경우 임계 값 (1.)은 가장 가까운 이웃 추정기 또는 로컬 커널 (가우시안)이있는 SVM과 매우 비슷합니다. 위의 많은 것들이 차원의 저주로 고통 받고 있습니다 (범위는 차원에 기하 급수적으로 의존합니다). 기계 학습에서는 클래스를 일부 패밀리 (예 : "매개 변수 메소드)로 명시 적으로 제한하거나 암시 적 제약 조건, 일반적으로 근사치의 품질을 대상 함수의 복잡성 (예 : 부스팅에서의 약한 학습 가정).

$f:\mathbb{R}^d \to \mathbb{R}$

에프 (엑스) = \sum_{제이 = 0}^{2 디} h_{제이} (\sum_{나는 = 1}^{디} 지_{제이, 나는} ({엑스}_{나는})),

$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$

g_{j, i} : R \to R

$g_{j,i} : \mathbb{R}\to\mathbb{R}$

h_{j} : R \to R

$h_j:\mathbb{R}\to\mathbb{R}$

g

$g$

h

$h$

Θ (d^{2})

$\Theta(d^2)$

(함수 클래스에 대해서만 질문했지만 메소드에 관심이 있다고 생각했습니다. 그렇지 않으면 .. 죄송합니다)

— 마 투스
소스

"1957 년부터!"는 1957 년의 지수가 미래에서 온 것입니까?! :)

— nbro