ResNet 건너 뛰기 연결을 통한 그라디언트 역 전파

ResNet 모듈 / 건너 뛰기 연결을 사용하여 그라디언트가 신경망을 통해 어떻게 전파되는지 궁금합니다. ResNet에 대한 몇 가지 질문을 보았습니다 (예 : 스킵 레이어 연결을 가진 신경망 ). 이것은 훈련 중 그라디언트의 역 전파에 대해 특별히 묻습니다.

기본 아키텍처는 다음과 같습니다.

필자는이 논문 인 이미지 인식을위한 잔차 네트워크 연구 (Research of Residual Networks for Image Recognition )를 읽고 섹션 2에서 ResNet의 목표 중 하나가 그라디언트가 기본 레이어로 역 전파되는 경로를 더 짧고 명확하게 만드는 방법에 대해 설명합니다.

이 유형의 네트워크를 통해 그라디언트가 어떻게 흐르는 지 설명 할 수 있습니까? 추가 작업과 추가 후 매개 변수가없는 레이어가 어떻게 더 나은 그라디언트 전파를 허용하는지 이해하지 못합니다. add 연산자를 통해 흐를 때 그라디언트가 변경되지 않는 방식과 관련이 있으며 곱셈없이 어떻게 재배포됩니까?

또한 그라디언트가 가중치 레이어를 통해 흐를 필요가 없으면 소실 그라디언트 문제가 어떻게 완화되는지 이해할 수 있지만 가중치를 통해 그라디언트 흐름이 없으면 역방향 통과 후에 어떻게 업데이트됩니까?

추가는 그라디언트를 두 입력에 동일하게 다시 보냅니다. tensorflow에서 다음을 실행하여이를 확신 할 수 있습니다.

import tensorflow as tf

graph = tf.Graph()
with graph.as_default():
    x1_tf = tf.Variable(1.5, name='x1')
    x2_tf = tf.Variable(3.5, name='x2')
    out_tf = x1_tf + x2_tf

    grads_tf = tf.gradients(ys=[out_tf], xs=[x1_tf, x2_tf])
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        fd = {
            out_tf: 10.0
        }
        print(sess.run(grads_tf, feed_dict=fd))

산출:

[1.0, 1.0]

따라서 그라디언트는 다음과 같습니다.

• 스킵 레이어 연결을 통해 변경없이 이전 레이어로 다시 전달
• 가중치가있는 블록으로 전달되어 해당 가중치를 업데이트하는 데 사용됩니다.

편집 : 질문 : "고속도로 연결과 신경망 블록이 다시 연결되는 지점에서의 동작은 무엇입니까?"

답은 다음과 같습니다. 그림 2의 공식에서이를 확인할 수 있습니다.

이것이 말하는 것은 :

• $\mathbf{x}$
• $\mathbf{x}$$\mathcal{F}(\mathbf{x})$
• 여기에 레이블이 지정된 잔차 블록의 출력을 제공하기 위해$\mathbf{\text{output}}$

편집 2 :

약간 다른 단어로 다시 쓰기 :

• 정방향으로, 입력 데이터는 버스로 흐릅니다.
  • 버스를 따라 점에서, 잔여 블록은 버스 벡터에 값을 추가 / 제거하는 법을 배울 수 있습니다
• 역방향으로 그라디언트가 버스로 다시 흐릅니다.
  • 길을 따라 그라디언트가 지나간 잔여 블록을 업데이트합니다.
  • 잔차 블록 자체가 그래디언트도 약간 수정합니다.

잔차 블록은 뒤로 흐르는 그래디언트를 수정하지만 그래디언트가 통과하는 '스 쿼싱'또는 '활성화'기능은 없습니다. '스 쿼싱'/ '활성화'기능은 폭발 / 소실 그라디언트 문제를 일으키는 원인이므로 버스 자체에서 제거하여이 문제를 상당히 완화합니다.

편집 3 : 개인적으로 나는 다음 다이어그램과 같이 내 머리에 resnet을 상상합니다. 토폴로지는 그림 2와 동일하지만 버스가 네트워크를 통해 바로 흐르는 방식을 보여줍니다. 잔여 블록은 값을 탭하고 버스에 대해 작은 벡터를 추가 / 제거합니다.