이전의 신경망 골프 도전 ( 이것 과 저것 )은 저에게 새로운 도전을하게했습니다.

도전

정수 항목을 가진 4 차원 입력 벡터 $(a,b,c,d)$ 가 지면 네트워크가 출력 하도록 가장 작은 피드 포워드 신경망을 찾습니다 보다 작은 좌표 방향 오차 .$[-10,10]$$\textrm{sort}(a,b,c,d)$$0.5$

허용 성

이 과제를 위해, 피드 포워드 신경망 은 계층 구성으로 정의됩니다 . 레이어는 함수 로, 행렬 의 가중치 , 벡터로 지정됩니다. of biases 및 좌표 방향으로 적용되는 활성화 함수 :$L\colon\mathbf{R}^n\to\mathbf{R}^m$$A\in\mathbf{R}^{m\times n}$$b\in\mathbf{R}^m$ $f\colon\mathbf{R}\to\mathbf{R}$

$$L(x) := f(Ax+b), \qquad x\in\mathbf{R}^n.$$

특정 작업에 대해 활성화 기능을 조정할 수 있으므로이 과제를 흥미롭게 유지하기 위해 활성화 기능 클래스를 제한해야합니다. 다음과 같은 활성화 기능이 허용됩니다.

• 정체. $f(t)=t$

• RELU. $f(t)=\operatorname{max}(t,0)$

• 소프트 플러스. $f(t)=\ln(e^t+1)$

• 쌍곡 탄젠트. $f(t)=\tanh(t)$

• S 자형. $f(t)=\frac{e^t}{e^t+1}$

전반적으로, 허용 가능한 신경망 은 일부 k에 대해 $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ 을 취 합니다 . 여기서 각 레이어 L_i 는 가중치 A_i , 바이어스 b_i 및 활성화 함수 f_i로 지정됩니다 위 목록에서. 예를 들어, 다음 신경망은 허용됩니다 (이 도전의 성능 목표를 만족 시키지는 않지만 유용한 가젯 일 수 있습니다).$k$$L_i$$A_i$$b_i$$f_i$

$$\left[\begin{array}{c}\min(a,b)\\\max(a,b)\end{array}\right]=\left[\begin{array}{rrrr}1&-1&-\frac{1}{2}&-\frac{1}{2}\\1&-1&\frac{1}{2}&\frac{1}{2}\end{array}\right]\mathrm{ReLU}\left[\begin{array}{rr}\frac{1}{2}&\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}\\1&-1\\-1&1\end{array}\right]\left[\begin{array}{c}a\\b\end{array}\right]$$

이 예는 두 개의 레이어를 보여줍니다. 두 레이어 모두 바이어스가 없습니다. 첫 번째 계층은 ReLU 활성화를 사용하고 두 번째 계층은 ID 활성화를 사용합니다.

채점

당신의 점수는 0이 아닌 가중치와 바이어스 의 총 수입니다 .

(예를 들어, 바이어스 벡터가 0이므로 위 예제의 점수는 16입니다.)

Octave , 96 88 87 84 76 54 50 무게 및 바이어스

이 6 계층 신경망은 본질적 으로 구성 요소로서 매우 간단한 / 네트워크로 구축 된 3 단계 분류 네트워크 입니다. 기본적으로 아래 그림과 같이 Wikipedia의 예제 네트워크이며 약간 수정되었습니다. 처음 두 비교는 병렬로 수행됩니다. ReLU를 통해 음수를 우회하려면 먼저 100을 더한 다음 끝에 100을 다시 빼십시오.minmax

따라서 이것은 순진한 구현이므로 기준으로 간주되어야합니다. 그러나 너무 큰 크기가 아닌 가능한 모든 숫자를 완벽하게 정렬합니다. 100을 다른 숫자로 바꿔 범위를 조정할 수 있습니다.

온라인으로 사용해보십시오!

최대 / 최소 구성 요소

A (이 상당히 적은 우아한 적은 매개 변수를 사용하여 두 숫자의 최소 및 최대 값을 찾기 위해! 이제 더 우아한 방법, 감사 @xnor) 방법 :

$$\begin{align} \min &= a - ReLU(a-b) \\ \max &= b + ReLU(a-b) \end{align}$$

이것은 우리가 훨씬 적은 무게와 바이어스를 사용해야 함을 의미합니다.

첫 번째 단계에서 모든 숫자를 양수로 만들고 마지막 단계에서 역수로 바꾸면 -8 가중치가된다는 점을 지적한 @Joel에게 감사드립니다. -22 무게를 만드는 더 짧은 최대 / 최소 방법을 지적 해 주신 @xnor에게 감사드립니다! 특정 매트릭스를 결합하여 또 다른 -4 가중치를 생성하는 팁에 대해 @ DustinG.Mixon에게 감사드립니다!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

온라인으로 사용해보십시오!