신경망이

유명한 Tensorflow Fizz Buzz 농담과 XOr 문제의 정신에서 $y = x^2$ 기능 을 구현하는 신경망을 설계 할 수 있다면 생각하기 시작했습니다 .

숫자의 일부 표현 (예 : 이진수 형식의 벡터로 숫자 5가로 [1,0,1,0,0,0,0,...]표시됨) 이 주어진 경우 신경망은이 경우 제곱-25를 반환하는 법을 배워야합니다.

$y=x^2$ 구현할 수 있다면 아마도 $y=x^3$ 및 일반적으로 x의 다항식을 구현 한 다음 Taylor 시리즈를 사용하여 $y=\sin(x)$ 근사 할 수 있습니다. 이는 Fizz Buzz 문제를 해결합니다-신경망 나머지 부분을 찾을 수 있습니다.

분명히 NN의 선형 부분 만이이 작업을 수행 할 수 없으므로 곱셈을 수행 할 수 있다면 활성화 기능 덕분에 발생할 수 있습니다.

주제에 대한 아이디어 나 독서를 제안 할 수 있습니까?

신경망은 범용 함수 근사 정리에 기반한 범용 함수 근사라고도합니다 . 그 내용은 다음과 같습니다.

인공 신경망의 수학적 이론에서, 보편적 근사 정리는 유한 한 수의 뉴런을 포함하는 단일 숨겨진 층을 가진 피드 포워드 네트워크가 활성화 함수에 대한 가벼운 가정 하에서 Rn의 콤팩트 한 부분 집합의 연속 함수와 근사 할 수 있다고합니다.

비선형 활성화 기능이있는 ANN을 의미하면 입력과 출력을 관련시키는 기능을 매핑 할 수 있습니다. 회귀 ANN을 사용하여 $y = x^2$ 함수를 쉽게 근사 할 수 있습니다.

당신은 훌륭한 교훈을 찾을 수 있습니다 여기에 노트북 예제.

또한 이러한 기능으로 인해 ANN은 이미지와 레이블 사이의 복잡한 관계를 매핑 할 수 있습니다.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$