신경망이 기능 및 기능 파생을 배울 수 있습니까?

신경망 (NNs)은 특정 가정 (네트워크 및 근사 함수)에서 함수 및 그 파생어에 대한 보편적 근사기로 간주 될 수 있음을 이해합니다. 사실, 단순하지만 사소한 함수 (예 : 다항식)에 대해 여러 가지 테스트를 수행했으며 실제로 함수와 첫 번째 미분을 대략적으로 근사 할 수있는 것 같습니다 (예는 아래에 표시됨).

그러나 나에게 분명하지 않은 것은 위의 이론이 기능과 기능적 파생물로 확장되는지 (또는 확장 될 수 있는지)입니다. 예를 들어, 함수 : 함수 파생어 : 여기서, 전적으로, 비 사소 의존 . NN은 위의 매핑과 그 기능적 파생물을 배울 수 있습니까? 보다 구체적으로, 하나의 이산 도메인이 경우 위에 및 제공 입력하고 (이산 점)

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ $f(x)$$g(x)$$x$$[a,b]$$f(x)$$F[f(x)]$출력으로, NN은 (적어도 이론적으로)이 매핑을 올바르게 배울 수 있습니까? 그렇다면 매핑의 기능적 파생물도 배울 수 있습니까?

나는 여러 가지 테스트를 수행했으며 NN이 실제로 매핑 를 어느 정도 배울 수있는 것 같습니다 . 그러나이 매핑의 정확성은 좋지만 크지는 않습니다. 그리고 문제는 계산 된 기능적 파생물이 완전한 쓰레기라는 것입니다 (둘 다 훈련과 관련된 문제와 관련이있을 수 있습니다). 아래에 예가 나와 있습니다.$F[f(x)]$

NN이 기능 및 기능 파생을 학습하기에 적합하지 않은 경우 또 다른 기계 학습 방법이 있습니까?

예 :

NN 함수의 내용은 훈련시켰다 : (1) 다음은 기능 및 그것의 유도체 근사화의 예 범위 [-3,2] 이상은 : 어떤 적당한 행 근사값을 얻습니다. 예상대로, 대한 NN 근사값 과 첫 번째 미분 값은 훈련 중에 더 나은 최소 점이 발견되는 등 훈련 포인트 수, NN 아키텍처를 통해 향상됩니다.$f(x) = x^3 + x + 0.5$d f ( x ) / d x f ( x )$df(x)/dx$$f(x)$

(2) 다음은 함수와 함수 파생어를 근사화하는 예입니다. NN은 함수 를 배우도록 훈련되었습니다 . 훈련 데이터는 형식의 함수를 사용하여 얻었으며 , 여기서 와 는 무작위로 생성되었습니다. 다음 플롯 NN 참으로 근사 할 수 있다는 것을 나타낸다 아주 잘 : 계산치 기능성 유도체는, 그러나, 전체 가비지이고; (특정 )의 예는 다음과 같습니다. 흥미로운 참고로 NN 근사값은$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$f ( x ) F [ f ( x ) ]$f(x)$$F[f(x)]$ (예 (1)에서와 같이) 훈련 포인트의 수와 함께 향상되는 것처럼 보이지만 기능적 파생물은 그렇지 않습니다.

좋은 질문입니다. 나는 그것이 이론적 인 수학적 증거와 관련이 있다고 생각합니다. 나는 딥 러닝 (기본적으로 신경망)과 한동안 (약 1 년) 일해 왔으며, 읽은 모든 논문에서 얻은 지식을 바탕으로 아직 이것에 대한 증거를 보지 못했습니다. 그러나 실험적 증거 측면에서 피드백을 제공 할 수 있다고 생각합니다.

아래에서이 예를 살펴 보겠습니다.

이 예에서, 나는 다층 신경망을 통해 믿으며, 역 전파를 통해 f (x)와 F [f (x)]를 모두 배울 수 있어야합니다. 그러나 이것이 더 복잡한 기능에 적용 되든 우주의 모든 기능에 적용 되든 더 많은 증명이 필요합니다. 그러나 1000 개의 물체를 분류하기 위해 Imagenet 경쟁 의 예를 고려할 때 매우 깊은 신경망이 종종 사용됩니다. 최고의 모델은 ~ 5 %의 놀라운 오류율을 달성 할 수 있습니다. 이러한 딥 NN에는 10 개 이상의 비선형 레이어가 포함되어 있으며 이는 딥 네트워크를 통해 복잡한 관계를 표현할 수 있다는 실험적 증거입니다.

그러나 모든 파생 상품을 배울 수 있는지 여부는 더 많은 연구가 필요했습니다.

함수와 그 파생어를 완전히 배울 수있는 기계 학습 방법이 있는지 확실하지 않습니다. 미안합니다.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

$M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

우리의 훈련 기능으로 다른 주파수를 가진 사인과 코사인을 보자. 목표 벡터 계산

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

이제 회귀 행렬

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

선형 회귀:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$아마 선형 네트워크처럼 쉽지는 않지만 신경망이나 SVM과 같은 비선형 방법으로 학습하려고 시도 할 수 있습니다.