최대 풀링 계층을 통한 역 전파

이 질문에 대한 작은 하위 질문 이 있습니다.

최대 풀링 레이어를 통해 역 전파 할 때 최대로 선택된 이전 레이어의 뉴런이 모든 그라디언트를 얻는 방식으로 그라디언트가 다시 라우팅됩니다. 100 % 확실하지 않은 것은 다음 레이어의 그라디언트가 풀링 레이어로 다시 라우팅되는 방식입니다.

첫 번째 질문은 풀링 레이어가 아래 이미지와 같이 완전히 연결된 레이어에 연결되어 있는지입니다.

풀링 레이어의 청록색 "뉴런"에 대한 그래디언트를 계산할 때 FC 레이어 뉴런의 모든 그래디언트를 합산합니까? 이것이 정확하다면 풀링 레이어의 모든 "뉴런"은 동일한 그래디언트를 갖습니까?

예를 들어, FC 레이어의 첫 번째 뉴런이 2의 그래디언트를 갖는 경우, 두 번째는 3의 그래디언트를 갖는 것이고, 세 번째는 6의 그래디언트를 갖는 것입니다.

두 번째 질문은 풀링 레이어가 다른 회선 레이어에 연결될 때입니다. 그래디언트를 어떻게 계산합니까? 아래 예를 참조하십시오.

풀링 레이어 (개요 된 녹색 레이어)의 맨 오른쪽 "뉴런"에 대해 다음 전환 레이어에서 자주색 뉴런의 그래디언트를 가져 와서 다시 라우팅합니다.

채워진 녹색은 어떻습니까? 연쇄 규칙으로 인해 다음 층의 뉴런의 첫 번째 열을 함께 곱해야합니까? 아니면 추가해야합니까?

방정식을 많이 게시하지 말고 방정식 주위에 머리를 감 으려고 노력했지만 여전히 완벽하게 이해하지 못하기 때문에 내 대답이 옳다는 것을 말해주십시오. 방법.

이것이 정확하다면 풀링 레이어의 모든 "뉴런"은 동일한 그래디언트를 갖습니까?

아니요 . 무게와 활성화 기능에 따라 다릅니다. 그리고 가장 일반적으로 가중치는 풀링 레이어의 두 번째 레이어에서 FC 레이어로 풀링 레이어의 첫 번째 뉴런과 FC 레이어가 다릅니다.

따라서 일반적으로 다음과 같은 상황이 발생합니다.

$FC_i = f(\sum_j W_{ij} P_j)$

$FC_i$$P_j$$f$$W$

이것은 P_j에 대한 기울기가

$grad(P_j) = \sum_i grad(FC_i) f^\prime W_{ij}$

W가 다르기 때문에 j = 0 또는 j = 1과 다릅니다.

두 번째 질문은 풀링 레이어가 다른 회선 레이어에 연결될 때입니다. 그래디언트를 어떻게 계산합니까?

연결된 레이어 유형에 차이가 없습니다. 항상 같은 방정식입니다. 다음 레이어의 모든 그라디언트의 합계에 해당 뉴런의 출력이 이전 레이어의 뉴런의 영향을받는 방법이 곱해집니다. FC와 컨볼 루션의 차이점은 FC에서 다음 레이어의 모든 뉴런이 기여를 제공하지만 (아마도 작은 경우에도) 컨볼 루션에서는 다음 레이어의 대부분의 뉴런이 이전 레이어의 뉴런에 전혀 영향을받지 않으므로 정확히 0입니다.

풀링 레이어 (개요 된 녹색 레이어)의 맨 오른쪽 "뉴런"에 대해 다음 전환 레이어에서 자주색 뉴런의 그래디언트를 가져 와서 다시 라우팅합니다.

권리. 또한 풀링 레이어의 맨 오른쪽 뉴런을 입력으로받는 컨벌루션 레이어의 다른 뉴런의 기울기.

채워진 녹색은 어떻습니까? 연쇄 규칙으로 인해 다음 층의 뉴런의 첫 번째 열을 함께 곱해야합니까? 아니면 추가해야합니까?

그것들을 추가하십시오. 연쇄 규칙 때문입니다.

$max$$grad(PR_j)$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

$f = id$$f = 0$$f^\prime = 1$$f^\prime = 0$

$grad(PR_{max neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$