소개 배경

컨볼 루션 신경망 내에서 일반적으로 다음과 같은 일반적인 구조 / 흐름이 있습니다.

1. 입력 이미지 (즉, 2D 벡터 x)

(제 1 컨볼 루션 레이어 (Conv1)는 여기서 시작합니다 ...)

2. w12D 이미지를 따라 필터 세트 ( )를 구성합니다 (즉, z1 = w1*x + b1내적 곱셈 수행). 여기서 z13D b1는 바이어스입니다.
3. 있도록 활성화 함수 (예 ReLu)을 적용 z1(예를 들어, 비 - 선형 a1 = ReLu(z1)) 여기서, a13D이다.

(2nd Convolutional layer (Conv2)는 여기서 시작합니다 ...)

4. 새로 계산 된 활성화 (즉, z2 = w2*a1 + b2내적 곱셈을 수행)를 따라 필터 세트를 구성합니다 . 여기서 z23D b2는 바이어스입니다.
5. 있도록 활성화 함수 (예 ReLu)을 적용 z2(예를 들어, 비 - 선형 a2 = ReLu(z2)) 여기서, a23D이다.

 질문

"피처 맵"이라는 용어의 정의는 문헌마다 다릅니다. 구체적으로 :

• 첫 번째 컨볼 루션 레이어의 경우, "피처 맵"은 입력 벡터 x, 출력 도트 곱 z1, 출력 활성화 a1또는 "프로세스"로 변환 x하는 a1것 또는 다른 것에 해당합니까?
• 유사하게, 제 2 컨볼 루션 층에 대해, "피처 맵"은 입력 활성화 a1, 또는 출력 도트 곱 z2, 또는 출력 활성화 a2, 또는 "프로세스"로 변환 a1하는 a2것 또는 다른 것에 대응 하는가?

또한 "기능 맵"이라는 용어가 "활성화 맵"과 정확히 동일 하다는 것이 사실 입니까? (또는 실제로 두 가지 다른 의미입니까?)

 추가 참조 :

신경망 및 딥 러닝의 스 니펫 -6 장 :

* 명명법은 느슨하게 사용됩니다. 특히, 나는 "기능 맵"을 사용하여 컨볼 루션 레이어에 의해 계산 된 함수가 아니라 레이어에서 숨겨진 뉴런 출력의 활성화를 의미합니다. 이런 종류의 명명법 악용은 연구 문헌에서 꽤 일반적입니다.

Matt Zeiler의 컨볼 루션 네트워크 시각화 및 이해의 스 니펫 :

이 백서에서는 모델의 모든 레이어에서 개별 기능 맵을 자극하는 입력 자극을 나타내는 시각화 기술을 소개합니다. [...] 대조적으로, 우리의 접근 방식은 비모수에 대한 비모수 적 뷰를 제공하며, 훈련 세트의 어떤 패턴이 피쳐 맵을 활성화하는지 보여줍니다. [...] 기능 맵에서 응답을 정규화하는 로컬 대비 작업입니다. [...] 주어진 convnet 활성화를 검사하기 위해 레이어의 다른 모든 활성화를 0으로 설정하고 기능 맵을 입력 된 첨부 deconvnet 레이어에 전달합니다. [...] convnet은 relu 비선형 성을 사용하여 기능 맵을 수정하므로 기능 맵이 항상 양수입니다. [...] convnet은 학습 된 필터를 사용하여 이전 레이어의 기능 맵을 통합합니다. [...] 그림 6, 이러한 시각화는 패턴에 해당하는 원래 입력 이미지의 일부가 가려지면 모델 [...]에서 지정된 기능 맵을 자극하는 입력 패턴의 정확한 표현입니다. 기능 맵 내에서 활동이 뚜렷하게 떨어집니다. [...]

비고 : 그림 1의 "피처 맵"및 "수정 된 기능 맵"이라는 용어도 소개합니다.

CNN의 Stanford CS231n 챕터의 스 니펫 :

[...]이 시각화로 쉽게 알아볼 수있는 한 가지 위험한 함정은 일부 활성화 맵이 많은 다른 입력에 대해 모두 0 일 수 있다는 것입니다. 이는 죽은 필터를 나타낼 수 있으며 높은 학습률의 증상 일 수 있습니다. 고양이 사진을보고 훈련 된 AlexNet의 첫 번째 CONV 레이어 (왼쪽)와 5 번째 CONV 레이어 (오른쪽)에서 일반적인 모양의 활성화. 모든 상자에는 일부 필터에 해당하는 활성화 맵이 표시됩니다. 활성화가 성 기고 (이 시각화에서 검은 색으로 표시된 대부분의 값은 0 임) 대부분 로컬입니다.

A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks의 스 니펫

[...] 입력 볼륨의 모든 고유 위치는 숫자를 생성합니다. 모든 위치에서 필터를 밀면 남은 것이 28 x 28 x 1의 숫자 배열임을 알 수 있습니다.이를 활성화 맵 또는 기능 맵이라고합니다.

기능 맵 또는 활성화 맵은 주어진 필터 (귀하의 경우 a1)에 대한 출력 활성화이며 정의는 사용중인 레이어에 관계없이 동일합니다.

기능 맵 과 활성화 맵 은 정확히 같은 것을 의미합니다. 이미지의 다른 부분의 활성화에 해당하는 매핑이기 때문에 활성화 맵이라고하며 이미지에서 특정 종류의 기능이있는 위치의 매핑이기도하기 때문에 기능 맵이라고도합니다. 높은 활성화는 특정 기능이 발견되었음을 의미합니다.

"수정 된 기능 맵"은 Relu를 사용하여 작성된 기능 맵일뿐입니다. 내적 (z1)의 결과에 사용 된 "피처 맵"이라는 용어를 볼 수도 있습니다. 이는 실제로 이미지에 특정 기능이있는 위치의 맵이지만 일반적이지 않습니다.

기능 맵의 의미에 대해 설명하기 전에 기능 벡터의 용어를 정의하십시오.

특징 벡터는 객체의 벡터 표현입니다. 예를 들어, 자동차는 [바퀴 수, 문]으로 나타낼 수 있습니다. 창문, 나이 .. 등].

특징 맵은 한 공간에서 특징 벡터를 가져와 다른 공간에서 특징 벡터로 변환하는 함수입니다. 예를 들어 특징 벡터 [volume, weight, height, width]에서 [1, volume / weight, height * width] 또는 [height * width] 또는 심지어 [volume]을 반환 할 수 있습니다