신경망의 상징적 (장난감) 모델

대학원생과 노블 상 수상자 인 Feynman의 물리학 교수들은 항상 고조파 발진기, 진자, 회전하는 상단 및 블랙 박스와 같은 물리학의 기본 개념과 방법을 설명하기 위해 장난감 모델이라고 부르는 것을 항상 제시했습니다.

신경망 적용의 기본 개념과 방법을 설명하기 위해 어떤 장난감 모델이 사용됩니까? (참고하시기 바랍니다.)

장난감 모델이란 기본 방법을 제시 할 수있는 매우 제한적인 문제에 적용되는 특히 단순하고 최소 크기의 네트워크를 의미하며 실제 구현을 통해 이해력을 테스트하고 향상시킵니다. 기본 수학을 손으로 확인하거나 상징적 수학 앱을 통해 지원합니다.

가장 고전적인 것 중 하나는 2 차원 의 퍼셉트론 이며 1950 년대로 거슬러 올라갑니다. 보다 현대적인 기술을위한 런칭 패드이기 때문에 좋은 예입니다.

1) 모든 것이 선형으로 분리 가능한 것은 아닙니다 (따라서 비선형 활성화 또는 커널 방법, 다중 레이어 등이 필요합니다).

2) 데이터를 선형으로 분리 할 수없는 경우 Perceptron은 수렴하지 않습니다 (소프트 맥스, 학습 속도 감소 등과 같은 연속적인 분리 측정).

3) 데이터 분할에 대한 솔루션은 무한히 많지만 일부는 다른 것보다 더 바람직한 것이 분명합니다 (최대 경계 분리, SVM 등).

다층 신경망의 경우이 시각화 와 함께 제공되는 장난감 분류 예제를 원할 수 있습니다.

Convolutional Neural Nets의 경우 MNIST는 클래식 골드 표준이며 여기 와 여기에 귀여운 시각화가 있습니다 .

RNN의 경우, 그들이 해결할 수있는 매우 간단한 문제는 이진 덧셈 이며, 4 가지 패턴을 기억해야합니다.

1. XOR 문제는 아마도 표준 ANN 장난감 문제 일 것입니다.

   Richard Bland 1998 년 6 월 스털링 대학 컴퓨팅 과학 및 수학 컴퓨팅 과학 기술 보고서 ​​" XOR 학습 : 고전적인 문제의 공간 탐색 "

2. TensorFlow 놀이터는 XOR 및 젤리 롤 등 여러 가지 장난감 신경 그물에 대화 형 인터페이스입니다.

3. 고정 크기 (2x2 또는 3x3) 대칭 행렬의 최대 고유 값을 계산하는 것은 강의 데모에서 사용하는 것입니다.

   A. Cichocki와 R. Unbehauen. " 고유 값과 고유 벡터 계산을위한 신경망 " 생물학적 사이버네틱스 , 1992 년 12 월, 68 권 2 호, 155-164 쪽

MNIST와 같은 문제는 분명히 정식이지만 자유 시간이 많지 않으면 손으로 쉽게 확인할 수 없습니다. 코드가 특히 기본이 아닙니다.

NLP 업무와 관련하여 Penn Tree Bank는 매우 표준적인 벤치 마크 데이터 세트로, 예를 들어 Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals의 " Recurrent Neural Network Regularization "및 수백 개의 다른 논문에서 사용됩니다.

나는 실제 장난감을 모르지만, 내가 아는 가장 좋은 예는 슈퍼 마리오 브라더스를 플레이하기 위해 유전자 알고리즘을 통해 생성 된 멀티 레이어 AI입니다. 소스 코드는 비디오 설명에 있습니다.

MarI / O-비디오 게임을위한 기계 학습 : https://www.youtube.com/watch?v=qv6UVOQ0F44