활성화 기능과 관련된 신경망의 계산 능력

합리적인 가중치를 갖는 신경망은 신경망을 이용한 범용 튜링 머신 튜링 계산 능력을 가지고 있음이 입증되었습니다 . 내가 얻는 것에서, 실제 가중치를 사용하면 더 확실하지는 않지만 더 많은 계산 능력을 얻는 것처럼 보입니다.

그러나 신경망의 계산력과 활성화 함수 사이에 상관 관계가 있습니까? 예를 들어, 활성화 기능이 입력을 스펙 커 시퀀스의 한계 (일반 Turing 머신으로는 할 수없는 것)와 비교하면 신경망 계산이 "강력"하게됩니까? 누군가이 방향으로 참조를 가리킬 수 있습니까?

참고 사항 :

• 부울 활성화 기능 (단순 임계 값)을 갖는 합리적인 가중 반복 은 유한 상태 오토마타 (Minsky, "계산 : 유한 및 무한 기계", 1967)와 동등하다;$NN$

• 선형 시그 모이 드 활성화 기능을 갖는 합리적인 가중 반복 은 튜링 머신과 동일하다 (Siegelmann 및 Sontag, " 신경망의 계산력에 대하여 ", 1995);$NN$

• 선형 시그 모이 드 활성화 기능을 갖는 실제 가중 반복 은 튜링 머신보다 강력하다 (Siegelmann and Sontag, " 신경망을 통한 아날로그 계산 ", 1993);$NN$

하지만 ...

• 출력에 가우스 잡음이있는 실제 가중 반복 은 임의의 정규 언어를 인식 할 수 없습니다 (Maass and Sontag, " 가우시안 또는 기타 일반적인 잡음 분포가있는 아날로그 신경망은 임의의 정규 언어를 인식 할 수 없음 ", 1995);$NN$

나는 쉬운 해결책을 택하고 "예"라고 말할 것입니다. 입력을 받아들이고 단순히 상수 값을 반환하는 (즉, 입력을 무시하는) 활성화 함수를 고려하십시오. 이 네트워크는 항상 일정한 출력을 생성하므로이 네트워크의 계산 능력은 (어떤 정의에 의해서도) 0입니다. 아무것도 계산할 수 없습니다.

이것은 네트워크 의 전원 에 대한 활성화 기능 간의 상관 관계를 보여주기에 충분 합니다. 물론 네트워크가 범용 튜링 머신보다 더 많은 전력을 가질 수 있음을 보여 주거나 반증하지는 않습니다 .