Keras에서 모델 병합의 중요성은 무엇입니까?

Keras에는 다음에 따라 두 모델을 "병합"하는 기능이 있다는 것을 알게되었습니다.

from keras.layers import Merge

left_branch = Sequential()
left_branch.add(Dense(32, input_dim=784))

right_branch = Sequential()
right_branch.add(Dense(32, input_dim=784))

merged = Merge([left_branch, right_branch], mode='concat')

머천트 NN의 요점은 무엇이며 어떤 상황에서 유용합니까? 일종의 앙상블 모델링입니까? 성능 측면에서 여러 "모드"(concat, avg, dot 등)의 차이점은 무엇입니까?

여러 가지 이유로 사용되며 기본적으로 여러 네트워크를 결합하는 데 사용됩니다. 좋은 예는 태그와 이미지와 같이 두 가지 유형의 입력이있는 경우입니다. 예를 들어 다음과 같은 네트워크를 구축 할 수 있습니다.

이미지-> 전환-> 최대 풀링-> 전환-> 최대 풀링-> 밀도

태그-> 임베딩-> 고밀도 레이어

이러한 네트워크를 하나의 예측으로 결합하고 함께 훈련시키기 위해 최종 분류 전에이 밀도 레이어를 병합 할 수 있습니다.

입력이 여러 개인 네트워크는 가장 명백하게 사용됩니다. 여기에는 RNN 내부의 이미지와 단어를 결합한 그림이 있습니다. 멀티 모달 부분은 두 입력이 병합 된 위치입니다.

또 다른 예는 다음 레이어로 넘어 가기 전에 다시 추가되는 다른 회선이있는 Google의 시작 레이어입니다.

Keras에 여러 입력을 공급하기 위해 배열 목록을 전달할 수 있습니다. 단어 / 이미지 예제에는 두 가지 목록이 있습니다.

x_input_image = [image1, image2, image3]
x_input_word = ['Feline', 'Dog', 'TV']
y_output = [1, 0, 0]

그런 다음 다음과 같이 맞출 수 있습니다.

model.fit(x=[x_input_image, x_input_word], y=y_output]