기하학과 AI
매트릭스, 큐브, 레이어, 스택 및 계층 구조를 토폴로지 라고 정확하게 부를 수 있습니다. 이러한 맥락에서 토폴로지는 학습 시스템의 높은 수준의 기하학적 설계를 고려하십시오.
복잡성이 증가함에 따라 이러한 토폴로지를 방향 그래프 구조로 나타내는 것이 종종 유용합니다. 상태 다이어그램과 Markov의 게임 이론 연구는 방향 그래프가 일반적으로 사용되는 두 곳입니다. 직접 그래프에는 꼭짓점이 있으며 (종종 닫힌 모양으로 표시됨) 가장자리는 종종 모양을 연결하는 화살표로 표시됩니다.
또한 GAN을 유 방향 그래프로 나타낼 수 있습니다. 여기서 각 그물의 출력은 적의 방식으로 서로의 훈련을 유도합니다. GAN은 토폴로지 적으로 Möbius 스트립과 유사합니다.
최적의 솔루션으로 수렴하거나 솔루션을 추적하는 수학뿐만 아니라 이러한 수렴을 지원할 수있는 네트워크 연결 토폴로지를 이해하지 않으면 새로운 디자인과 아키텍처를 발견 할 수 없습니다. 운영 체제를 작성하기 전에 운영 체제에 필요한 것이 무엇인지 상상하면서 프로세서를 먼저 개발하는 것과 같습니다.
아직 고려하지 않은 토폴로지를 살짝 보려면 먼저 어떤 토폴로지가 있는지 살펴 보겠습니다.
1 단계 — 두 번째 치수의 압출
1980 년대에는 퍼셉트론 디자인의 확장으로 성공했습니다. 연구원들은 다층 신경망을 만들기 위해 2 차원을 추가했습니다. 학습률에 의해 약화되고 다른 메타-파라미터로 감쇠 된 활성화 함수의 구배를 통한 에러 함수의 구배의 역 전파를 통해 합리적인 수렴이 달성되었다.
2 단계 — 이산 입력 신호에 치수 추가
우리는 기존의 수동으로 조정 된 이미지 컨볼 루션 기술에 기반한 컨볼 루션 네트워크의 출현으로 네트워크 입력에 크기, 수직 위치, 색상 구성 요소 및 프레임을 도입했습니다. 이 마지막 차원은 CGI, 얼굴 교체 및 현대 영화 제작의 다른 형태 기술에 중요합니다. 그것 없이는 이미지 생성, 분류 및 노이즈 제거 기능이 있습니다.
3 단계 — 네트워크 스택
우리는 한 네트워크의 훈련이 다른 네트워크에 의해 감독되는 1990 년대 후반에 신경망 스택이 출현하는 것을 본다. 이것은 뉴런의 순차적 인 층의 의미 나 이미지의 색상의 층의 의미가 아닌 개념적 층의 도입입니다. 이 유형의 레이어링도 재귀가 아닙니다. 하나의 구조가 다른 구조의 완전히 다른 종류의 장기 인 자연계와 더 비슷합니다.
4 단계 — 네트워크 계층
우리는 신경망의 계층 구조가 2000 년대와 2010 년 초반에 발생하는 연구 (라플라시안과 다른 것들)에서 자주 나타나는 것으로 신경망과 포유류의 뇌 비유를 계속 유지합니다. 이제 전체 네트워크가 정점을 나타내는 방향 그래프로 정점이되는 메타 구조를 볼 수 있습니다.
5 단계 % mdash; 데카르트 방향에서 출발
비 카테 시안은 체계적으로 세포의 배열을 반복하고 세포 사이의 연결이 문헌에 등장하기 시작했습니다. 예를 들어 Gauge Equivariant Convolutional Networks와 Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019)은 볼록한 정 이십 면체를 기반으로 배열을 사용하는지 검사합니다.
요약
레이어는 일반적으로 인접한 레이어 사이의 완전한 방향의 가장자리에 매핑 된 정점 및 감쇠 매트릭스에 대한 활성화 기능을 가지고 있습니다 [1]. 이미지 컨볼 루션 레이어는 종종 2 차원 정점 배열로, 인접한 레이어 사이에 요약 된 가장자리의 요약 된 세트에 감쇠 큐브가 매핑됩니다 [2]. 스택은 메타 지향 그래프에서 정점으로 전체 계층화 된 네트를 가지며, 이러한 메타 버텍스는 각 에지가 훈련 메타 파라미터, 강화 (실시간 피드백) 신호 또는 다른 학습 제어 인 순서대로 연결됩니다. . 네트의 계층 구조는 여러 컨트롤이 집계 될 수 있고 하위 레벨 학습을 직접 지시 할 수 있다는 개념 또는 하나의 상위 레벨 감독자 네트워크를 통해 여러 학습 요소를 제어 할 수있는 플립 사례를 반영합니다.
학습 토폴로지의 추세 분석
머신 러닝 아키텍처의 트렌드를 분석 할 수 있습니다. 우리는 세 가지 토폴로지 경향이 있습니다.
인과 관계 차원의 깊이 — 신호 처리의 레이어로, 한 레이어의 활성화의 출력이 감쇠 파라미터 (가중치)의 매트릭스를 통해 다음 레이어의 입력으로 공급됩니다. 더 큰 제어가 확립 될 때, 후면 전파에서 기본 구배 하강으로 시작하여 더 큰 깊이가 달성 될 수있다.
입력 신호 차원 — 스칼라 입력에서 하이퍼 큐브까지 (비디오는 투명도를 포함한 수평, 수직, 색상 심도 및 프레임을 가짐) — 퍼셉트론 의미의 입력 수와 동일하지 않습니다.
토폴로지 개발-위의 두 가지는 직교입니다. 치수는 기존 치수에 직각으로 추가됩니다. 네트워크가 계층 구조 (라플라시안 계층 구조에서와 같이)로 연결되고 뫼비우스가 원처럼 (GAN과 같이) 스트립으로 연결됨에 따라 추세는 지형적이며 정점이 뉴런이 아니라 더 작은 네트워크 인 방향 그래프로 가장 잘 표현됩니다.
어떤 토폴로지가 누락 되었습니까?
이 섹션에서는 제목 질문의 의미를 확장합니다.
- 신경망을 각각 나타내는 복수의 메타-버텍스가 복수의 감독자 메타-버텍스가 함께 복수의 직원 메타-버텍스를 감독 할 수 있도록 배치 될 수있는 이유가 있습니까?
- 왜 에러 신호의 역 전파가 음의 피드백과 비선형적인 것입니까?
- 컨트롤을 나타내는 두 개의 서로 다른 가장자리가있는 경우 감독 대신 메타-버텍스 간의 공동 작업을 사용할 수 없습니까?
- 신경망은 주로 비선형 현상을 학습하기 위해 사용되기 때문에 왜 그물 디자인이나 상호 연결에서 다른 유형의 닫힌 경로를 금지합니까?
- 비디오 클립을 자동으로 분류 할 수 있도록 사운드를 그림에 추가 할 수없는 이유가 있습니까? 이 경우 영화에서 영화를 추출 할 수있는 시나리오가 있습니까? 그리고 영화 스튜디오 시스템없이 영화를 제작하고 영화를 제작하는 데 적대적 아키텍처를 사용할 수 있습니까? 해당 토폴로지는 방향 그래프로 어떤 모양입니까?
- 직교로 배열 된 셀이 비 직교 정점 및 모서리의 임의의 규칙적인 패킹 배열을 시뮬레이션 할 수 있지만 + 또는 -90도 이외의 카메라 기울기가 일반적인 컴퓨터 비전에서 그렇게하는 것이 효율적입니까?
- 자연어 이해 및 조립 또는 인공 인식을 목표로하는 학습 시스템에서 인공 지능 시스템의 네트워크 또는 셀 네트워크의 개별 셀을 직교 적으로 배열하는 것이 효율적입니까?
노트
MLP의 인공 셀은 진폭 및 근접성 임계 값에 기초한 전기 화학적 펄스 전송보다는 부동 또는 고정 소수점 산술 전달 함수를 사용합니다. 그것들은 뉴런의 현실적인 시뮬레이션이 아니므로 정점 뉴런을 호출하는 것은 이런 종류의 분석에 대한 잘못된 이름이 될 것입니다.
근접한 픽셀들 사이의 이미지 특징들 및 상대적인 변화들의 상관은 멀리있는 픽셀들보다 훨씬 높다.