신경망에서 활동 벡터는 무엇입니까?

나는 Hinton의 새로운 논문 인 "Dynamic Routing Between Capsules"를 읽고 초록에서 "활동 벡터"라는 용어를 이해하지 못했습니다.

캡슐은 활동 벡터가 개체 또는 개체 부분과 같은 특정 유형의 개체의 인스턴스화 매개 변수를 나타내는 뉴런 그룹입니다. 우리는 활동 벡터의 길이를 사용하여 실체가 존재할 확률과 인스턴스화 매개 변수를 나타내는 방향을 나타냅니다. 한 레벨의 활성 캡슐은 변환 매트릭스를 통해 상위 레벨 캡슐의 인스턴스화 매개 변수를 예측합니다. 여러 예측이 일치하면 더 높은 수준의 캡슐이 활성화됩니다. 우리는 차별적으로 훈련 된 다층 캡슐 시스템이 MNIST에서 최첨단 성능을 달성하고 고도로 겹치는 숫자를 인식하는 데있어서 회선 네트워크보다 상당히 우수함을 보여줍니다. 이러한 결과를 달성하기 위해 계약 별 반복 라우팅 메커니즘을 사용합니다.

https://arxiv.org/pdf/1710.09829.pdf

벡터는 네트워크를 통해 실행되는 데이터 배열과 같다고 생각했습니다.

나는 Andrew Ng의 딥 러닝 과정을 시작하기 시작했지만 모두 새롭고 용어가 내 머리 위로 넘어갑니다.

전통적인 신경망에서, 네트워크 정점은 뉴런이고 단일 뉴런의 출력은 단일 값 ( " 스칼라 ")입니다. 이 번호를 활성화 라고합니다 . 계층 네트워크의 뉴런이 활성화 벡터를 출력한다. 우리는 이것을 캡슐 네트워크의 활동 벡터와 혼동해서는 안됩니다.

네트워크 정점이 뉴런이 아닌 캡슐이기 때문에 캡슐 네트워크는 다릅니다. 캡슐의 출력은 스칼라가 아니라 입력과 관련된 매개 변수 그룹을 나타내는 벡터 입니다. 따라서 이름 활성화 벡터 입니다.

자극

신경망에는 뉴런의 스칼라 출력 사이에 고유 한 구조가 없으며, 이는 다음 레이어가 알아야 할 사항입니다. Capsule Networks에서 캡슐의 출력은 더 깊은 레이어 캡슐의 활성화에 대한 예측을 포함하여 벡터에서 함께 관련된 모든 매개 변수를 나타냅니다. 이것은 유용한 로컬 구조를 추가합니다.

예를 들어, 얼굴 인식을 고려하십시오. 눈을 인식하는 방법을 알고있는 캡슐을 가지고 있다면, 예를 들어 " p = 0.97의 확률 로 눈 위치 (x, y) 를 인식했기 때문에 전체 얼굴의 매개 변수는 (f1, ... fn) ".

캡슐 간의 동적 라우팅에 설명 된 대로이 정보는 이전 레이어 (부품 : 눈, 입, 코)의 캡슐이 더 깊은 레이어 (얼굴)의 활성화를 예측하는 방식으로 사용됩니다. 예를 들어, 얼굴 인식기는 얼굴의 위치 ( (f1, ... fn )에 대해 눈, 코 및 입 인식기 (부품)와 얼굴 인식기 (전체) 사이에 일치하는 경우에만 활성화됩니다 . ) 매개 변수).

역사적 영감

SIFT 와 같은 오래된 컴퓨터 비전 알고리즘 은 다차원 기능 (핵심 포인트) 구성과 참조 구성간에 동의가 기반으로 인식되는 것과 유사한 방식으로 작동합니다.

나는 "캡슐에서 뉴런의 활성화 벡터"와 같은 것을 의미하기 위해 그것을 가져 갔다. 주어진 뉴런에 대한 활성화 는 입력의 가중치 합계이며 활성화 함수 (Sigmoid, relu 등)를 통과합니다 .