사람들이 MLP와 함께 더 깊은 RBF 또는 RBF를 사용하지 않는 이유는 무엇입니까?

따라서 Radial Basis Function Neural Networks를 볼 때 사람들은 1 숨겨진 레이어의 사용을 권장하는 반면 멀티 레이어 퍼셉트론 신경 네트워크에서는 더 많은 레이어가 더 나은 것으로 간주됩니다.

RBF 네트워크가 역 전파 버전으로 훈련 될 수 있다고 가정하면 더 깊은 RBF 네트워크가 작동하지 않거나 RBF 레이어를 깊은 MLP 네트워크에서 두 번째 또는 첫 번째 레이어로 사용할 수없는 이유가 있습니까? (저는 두 번째 계층을 생각하여 이전 MLP 계층에서 배운 기능에 대해 기본적으로 학습 할 수있었습니다)

machine-learning neural-networks rbf-network

— 사용자 1646196
소스

저는 NN 전문가는 아니지만 표준 피드 포워드 NN을 사용하면 여러 숨겨진 레이어가 일반적으로 많이 추가되지 않습니다.

— gung-복직 모니카

그것은 NN 연구 초기에 있었지만 이제는 더 많은 계층이 일반적으로 성능 향상을위한 레시피 (딥 러닝)입니다. 현재 선호하는 접근 방식은 가능한 한 많은 레이어를 현명하게 초기화하고 포화를 피하기 위해 S 자형 활성화 대신 드롭 아웃 및 소프트 맥스를 통한 정규화라고 생각합니다. (그러나 기술에 잘못되었을 수 있습니다). 일부 사람들은 더 나은 결과를 얻기 위해 반복 심화를 사용한다고 생각합니다. 또한 Google은 2014 년에 100 개의 레이어 네트워크로 imageNet을 통해 최첨단 기술을 확보했습니다.

— user1646196

근본적인 문제는 RBF가 a) 너무 비선형 적이며 b) 치수 축소를 수행하지 않는다는 것입니다.

a) RBF는 항상 경사 하강보다는 k- 평균에 의해 훈련되었습니다.

Deep NNs의 주요 성공 사례는 핵심 부분 중 하나가 차원 축소 인 conv nets이라고 주장합니다. 128x128x3 = 50,000 입력으로 작업하더라도 각 뉴런에는 제한된 수용 필드가 있으며 각 레이어에는 훨씬 적은 뉴런이 있습니다. MLP의 주어진 레이어에서 각 뉴런은 특징 / 치수를 나타냅니다. 따라서 차원을 지속적으로 줄입니다 (레이어에서 레이어로)

RBF 공분산 행렬을 적응 형으로 만들 수 있고 치수 축소도 가능하지만 훈련하기가 더 어려워집니다.

— seanv507
소스

최근에 RBF 네트워크 교육을위한 역 전파 알고리즘을 제안한 논문을 읽었습니다. 이것이 딥 네트워크에서 RBF를 최종 계층으로 사용하는 데 이점이 될 수 있습니까? 이 형태로 나머지 딥 네트워크는 본질적으로 RBF가 분류 할 수있는 기능을 감지한다고 가정합니다.

— user1646196

어쩌면 당신은 종이에 연결해야 사람들은 더 많은 정보 답변을 줄 수 있습니다. 나는 RBF가 너무 비선형 적이라는 이점을 보지 못합니다 (예를 들어 S 자형은 선형이 아닌 소멸 구배이기 때문에 relu로 대체되었습니다 ...). 사람들이하는 일은 위에 표준 mlp를 가진 conv net으로 훈련 한 다음 mlp를 버리고 svm을 사용하는 것입니다

— seanv507

논문은 "선택적인 역 전파를 통한 RBF 네트워크 교육"문서를 읽을 수 있는지 또는 paywall sciencedirect.com/science/article/pii/S0925231203005411을 가지고 있는지 확실하지 않습니다 . 나는 비선형 성으로 인해 시그 모이 드가 relu로 대체되었다는 것을 알지 못했지만 증가 된 비선형 성이 어떻게 멀리 떨어져 있는지 알 수 있습니다. 답변을 수락 된 것으로 표시합니다. :)

— user1646196