컨볼 루션 네트워크에 대한 보편적 근사 정리

보편적 근사 정리는 신경망에서 매우 유명한 결과이며, 기본적으로 일부 가정 하에서 어떤 기능 내에서도 신경망에 의해 함수가 균일하게 근사 될 수 있다고 명시합니다.

컨볼 루션 신경망에 적용되는 유사한 결과가 있습니까?

이것은 흥미로운 질문이지만, 컨볼 루션 신경망으로 간주되는 것은 명확하지 않습니다 .

네트워크 가 컨볼 루션 작업 을 포함 해야하는 유일한 요구 사항 입니까? 컨볼 루션 작업 만 포함 해야합니까 ? 풀링 작업이 허용됩니까? 실제로 사용되는 컨볼 루션 네트워크는 종종 완전히 연결된 레이어를 포함하여 여러 작업의 조합을 사용합니다 (완전히 연결된 레이어를 가지면 이론적으로 보편적 인 근사 능력을 갖습니다).

답을 제공하기 위해 다음과 같은 경우를 고려하십시오. 입력과 출력으로 완전히 연결된 레이어 는 가중치 행렬 사용하여 실현됩니다 . 2 개의 회선 레이어를 사용하여이 작업을 시뮬레이션 할 수 있습니다.$D$$K$$W \in \mathbb R ^{K\times D}$

1. 첫 번째 는 모양 의 필터를 갖 . 필터 의 요소 는 와 같고 나머지는 0입니다. 이 레이어는 입력을 차원 중간 공간 으로 변환합니다. 여기서 모든 차원은 가중치와 해당 입력의 곱을 나타냅니다.$K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. 제 2 층 은 형상 필터를 포함한다 . 필터 의 요소 는 1이고 나머지는 0입니다. 이 계층은 이전 계층의 제품 요약을 수행합니다.$K$$KD$$kD\ldots(k+1)D$$k$

이러한 회선 네트워크는 완전히 연결된 네트워크를 시뮬레이트하므로 동일한 범용 근사 기능을 갖습니다. 그러한 예가 실제로 얼마나 유용한 지 고려하는 것은 당신에게 달려 있지만, 그것이 당신의 질문에 대답하기를 바랍니다.

이 질문은 Dmitry Yarotsky의 최근 기사에서 긍정적 인 답변으로 답한 것 같습니다 : 신경망에 의한 불변지도의 보편적 근사 .

이 기사는 모든 변환 등변 량 함수가 고전적인 보편적 근사 정리와 직접적으로 충분히 넓다는 것을 고려할 때 컨볼 루션 신경망에 의해 임의로 잘 추정 될 수 있음을 보여줍니다.

종이를 참조하십시오 깊은 길쌈 신경망의 보편성 에 의해 딩 - 법사 저우 신경망의 깊이가 충분히 큰 일 때입니다, 그들은 임의의 정확도에 어떤 연속 함수에 근접 할 수 길쌈 신경 네트워크가 보편적 쇼 것을.