CNN에 필요한 가중치와 바이어스의 수를 파악하려고합니다.
(3, 32, 32) 이미지가 있고 (32, 5, 5) 필터를 적용하고 싶다고 가정 해보십시오. 각 기능 맵마다 5x5 가중치가 있으므로 3 x (5x5) x 32 매개 변수가 있어야합니다. 이제 편견을 추가해야합니다. 나는 (3 x (5x5) + 1) x 32 매개 변수 만 가지고 있다고 생각하므로 모든 색상 (RGB)에서 바이어스가 동일합니까?
이 올바른지? 다른 가중치를 사용하면서 깊이 (이 경우 3)에서 각 이미지에 대해 동일한 바이어스를 유지합니까? 왜 그런 겁니까?
답변:
바이어스는 가상 뉴런마다 작동하므로 단일 출력이있는 경우 여러 바이어스 입력을 갖는 데 아무런 가치가 없습니다. 이는 단일 바이어스에 다른 바이어스 가중치를 합산하는 것과 같습니다.
첫 번째 숨겨진 도면층의 출력 인 피쳐 맵에서 색상이 더 이상 분리되지 않습니다 *. 효과적으로 각 기능 맵은 다음 레이어에서 "채널"이지만, 일반적으로 입력이 채널을 결합하여 시각화되는 경우 별도로 시각화됩니다. 이것에 대해 생각하는 또 다른 방법은 원본 이미지의 개별 RGB 채널이 입력에 3 개의 "기능 맵"이라는 것입니다.
이전 레이어에 몇 개의 채널이나 기능이 있는지는 중요하지 않습니다. 다음 레이어의 각 기능 맵에 대한 출력은 해당 맵의 단일 값입니다. 하나의 출력 값은 하나의 바이어스 뉴런이 필요한 단일 가상 뉴런에 해당합니다.
CNN에서는 질문에서 설명하는 것처럼 출력 피쳐 맵의 각 지점에서 동일한 가중치 (바이어스 가중치 포함)가 공유됩니다. 따라서 각 피쳐 맵에는 고유 한 바이어스 가중치와 previous_layer_num_features x kernel_width x kernel_height연결 가중치가 있습니다.
예, (3 x (5x5) + 1) x 32첫 번째 레이어에 대한 총 가중치를 계산하는 예제 는 32 개의 개별 기능 맵에 RGB 입력을 처리하는 첫 번째 숨겨진 레이어가있는 CNN에 적합합니다.
* CNN 가중치 를 시각화하여 작동하는 색상 채널로 구분하여 혼란 스러울 수 있습니다.
CNN은 동일한 특징을 탐지하기 위해 공유 가중치와 바이어스 (레이어의 모든 숨겨진 뉴런에 대해 동일한 가중치와 바이어스)를 사용하는 것이 CNN의 속성입니다. 이것은 단순한 신경망에 비해 더 심층적 인 학습으로 이어집니다. 이것을 참조로 읽을 수 있습니다.
http://deeplearning.net/tutorial/lenet.html
http://neuralnetworksanddeeplearning.com/chap6.html#introducing_convolutional_networks