답변:
글로벌 최대 풀링 = 풀 크기를 가진 일반 최대 풀링 레이어는 입력 크기와 같습니다 (마이너스 필터 크기 + 1). 당신은 볼 수 MaxPooling1D걸리는 pool_length반면, 인수를 GlobalMaxPooling1D하지 않습니다.
예를 들어 최대 풀링 레이어의 입력이 경우 전역 최대 풀링 출력은 이고 풀 크기의 일반 최대 풀링 레이어는 3 출력 (걸음 = 1이라고 가정).
이것은 코드 에서 볼 수 있습니다 :
class GlobalMaxPooling1D(_GlobalPooling1D):
"""Global max pooling operation for temporal data.
# Input shape
3D tensor with shape: `(samples, steps, features)`.
# Output shape
2D tensor with shape: `(samples, features)`.
"""
def call(self, x, mask=None):
return K.max(x, axis=1)
자연어 처리와 같은 일부 도메인에서는 전역 최대 풀링을 사용하는 것이 일반적입니다. 컴퓨터 비전과 같은 다른 도메인에서는 전역이 아닌 최대 풀링을 사용하는 것이 일반적입니다.
이 백서 에서 설명한 바와 같이 GAP (Global Average Pooling)를 제안했습니다.
종래의 컨볼 루션 신경망은 네트워크의 하위 계층에서 컨볼 루션을 수행한다. 분류를 위해, 마지막 컨 볼루 셔널 레이어의 기능 맵이 벡터화되고 완전히 연결된 레이어에 공급 된 후 softmax 로지스틱 회귀 레이어가 제공됩니다. 이 구조는 컨 벌루 셔널 구조를 전통적인 신경망 분류기와 연결합니다. 컨벌루션 레이어를 피처 추출기로 취급하고 결과 피처는 전통적인 방식으로 분류됩니다.
그러나, 완전히 연결된 층은 과적 합하기 쉬우므로 전체 네트워크의 일반화 능력을 저해합니다. Hinton et al은 교육 중에 완전 연결된 레이어에 대한 활성화의 절반을 임의로 0으로 설정하는 레귤레이터로 드롭 아웃을 제안합니다. 일반화 기능이 향상되었으며 과적 합을 크게 방지합니다.
이 논문에서는 CNN의 기존의 완전히 연결된 레이어를 대체하기위한 글로벌 평균 풀링이라는 또 다른 전략을 제안합니다. 아이디어는 마지막 mlpconv 레이어에서 분류 작업의 각 해당 범주에 대해 하나의 기능 맵을 생성하는 것입니다. 피쳐 맵 위에 완전히 연결된 레이어를 추가하는 대신 각 피쳐 맵의 평균을 취하고 결과 벡터는 softmax 레이어로 직접 공급됩니다. 완전히 연결된 레이어에 비해 글로벌 평균 풀링의 한 가지 장점은 피쳐 맵과 범주 간의 대응을 적용하여 컨벌루션 구조에 더 고유하다는 것입니다. 따라서 기능 맵은 카테고리 신뢰 맵으로 쉽게 해석 될 수 있습니다. 또 다른 장점은 전체 평균 풀링에서 최적화 할 매개 변수가 없으므로이 계층에서 과적 합을 피할 수 있다는 것입니다. 또한, 글로벌 평균 풀링은 공간 정보를 요약하므로 입력의 공간 변환에 더 강력합니다. 전역 평균 풀링을 기능 맵을 개념 (카테고리)의 신뢰도 맵으로 명시 적으로 적용하는 구조적 정규화기로 볼 수 있습니다. 이는 mlpconv 레이어에서 가능합니다. GLM보다 신뢰도 맵에 대한 근사값이 더 우수하기 때문입니다.
편집 : @MaxLawnboy가 제안한 바와 같이 동일한 주제에 대한 다른 논문이 있습니다.