디지털 값이 단순한 추정치 인 경우 AI를 위해 아날로그로 돌아 가지 않겠습니까?

아날로그에서 디지털 회로로의 20 세기 전환의 원동력은 더 높은 정확도와 더 낮은 노이즈에 대한 요구에 의해 주도되었습니다. 이제 우리는 결과가 대략적이고 잡음이 긍정적 인 소프트웨어를 개발하고 있습니다.

• 인공 네트워크에서는 그라디언트 (Jacobian) 또는 2 차 모델 (Hessian)을 사용 하여 수렴 알고리즘의 다음 단계 를 추정 하고 허용 가능한 수준의 부정확성과 의심을 정의합니다. ¹
• 수렴 전략에서, 우리는 수렴하는 동안 최적화 표면에서 로컬 최소값을 본질적으로 뛰어 넘어 신뢰성을 향상시키기 위해 랜덤 또는 의사 랜덤 섭동을 주입하여 의도적으로 노이즈 를 추가 합니다. ²

현재 AI 시스템에서 우리가 수용하고 고의로 도입하는 것은 전자 장치를 디지털 회로로 유도 한 것과 같습니다.

신경망을위한 아날로그 회로로 돌아가서 디지털 신호 처리 요소의 매트릭스 대신 연산 증폭기 매트릭스로 구현하지 않는 이유는 무엇입니까?

인공 네트워크 학습 파라미터의 값은 D-to-A 변환기를 통해 충전 된 통합 커패시터를 사용하여 유지 될 수 있으므로 학습 된 상태는 디지털 정확도와 편리함을 통해 이점을 얻을 수 있으며 앞으로 전파하면 아날로그 이점을 활용할 수 있습니다.

• 더 빠른 속도 ³
• 네트워크 셀을 표현하기 위해 수십 배 더 적은 트랜지스터
• 자연 열 소음 ⁴

아날로그 인공 네트워크에 대한 학술 논문이나 특허 검색에 따르면 지난 40 년 동안 많은 연구가 이루어졌으며 연구 추세가 유지되었습니다. 전산 아날로그 회로는 잘 개발되었으며 신경 배열의 기초를 제공합니다.

디지털 계산에 대한 현재의 집착이 AI 아키텍처 옵션에 대한 일반적인 견해를 흐리게 할 수 있습니까?

하이브리드 아날로그는 인공 네트워크를위한 우수한 아키텍처입니까?

각주

[1] PAC (아마 대략적으로 정확한) 학습 프레임 워크는 특정 모델 유형에 대한 학습에 필요한 표본 크기 와 허용 오차 및 수용 가능 의심 를 관련시킵니다. (주는 것을 정확성과 표현 이 프레임 워크에 대한 자신감을 나타냅니다.)$\epsilon$$\delta$$1 - \epsilon$$1 - \delta$

[2] 적절한 전략과 하이퍼 파라미터가 사용될 때 확률 적 구배 강하가 나타나 학습 중에 더 빨리 수렴하고 인공 네트워크의 일반적인 실제 응용에서 모범 사례가되고있다.

[3] Intel Core i9-7960X 프로세서는 4.2GHz의 터보 속도로 실행되는 반면 표준 고정 위성 방송은 41GHz입니다.

[4] 애벌 런치 지점에서 역 바이어스 된 제너 다이오드를 가로 질러 전자 누설을 증폭 및 필터링함으로써 실리콘에서 열 잡음을 얻을 수있다. 양자 현상의 원인은 Johnson–Nyquist 열잡음입니다. Sanguinetti et. 알. '휴대 전화에서의 양자 난수 생성'(2014)에서 "검출기는 전송 확률 η를 가진 손실 채널로 모델링 될 수 있으며, 단위 효율을 갖는 광자-전자 변환기가 측정됩니다. 양자 불확실성과 기술적 소음의 결합이어야합니다. "라고 CalTech의 JTWPA 연구가 있습니다. 이 두 가지 모두 집적 회로에서 진정한 비 결정적 양자 노이즈를 생성하기위한 표준이 될 수 있습니다.

참고 문헌

• Convolutional Spiking Neural Networks를 이용한 이미지 패치의 STDP 학습 , Saunders et al. 알. 2018, U Mass 및 HAS
• 제한된 정밀 아날로그 계산을 통한 범용 코드 가속 , Amant et al. 2014 년
• 2016 년 Devin Coldewey의 아날로그 컴퓨팅 및 생물학적 시뮬레이션은 새로운 MIT 컴파일러를 통해 향상되었습니다.
• 2016 년 Larry Hardesty의 아날로그 컴퓨팅 결과
• 왜 아날로그 계산인가? , NSA 기밀 해제 문서
• 아날로그 컴퓨팅으로 돌아 가기 : 컬럼비아 연구원 , 2016 년 컬럼비아 U, 단일 칩에 아날로그 및 디지털 컴퓨팅 통합
• 재구성 가능한 컴퓨팅을위한 FPGA (Field-Programmable Crossbar Array) , Zidan et. al., IEEE, 2017
• FPAA / Memristor 하이브리드 컴퓨팅 인프라 , Laiho et. al., IEEE, 2015
• 살아있는 세포에서 컴퓨팅을위한 기초와 새로운 패러다임 , Ma, Perli, Lu, Harvard U, 2016
• 하드웨어 진화 (FPAA)를 대상으로 한 CMOS 필드 프로그래밍 가능 트랜지스터 어레이의 유연한 모델 , Zebulum, Stoica, Keymeulen, NASA / JPL, 2000
• 커스텀 선형 어레이, 칩당 최대 48 개의 정밀 연산 증폭기 통합 , Ashok Bindra, 2001, 전자 설계
• 아날로그 신호 처리를위한 대규모 현장 프로그래밍 가능 아날로그 어레이 , Hall et. al., 회로 및 시스템에서의 IEEE 트랜잭션, vol. 52 번 2005 년 11 월
• 아날로그 신호 처리를위한 대규모 필드 프로그래밍 가능 아날로그 어레이 , Hall et. 알. 2005 년
• 스파이크 타이밍에 의존하는 가소성을 갖는 저전력 스파이 킹 뉴런 및 쌍 안정 시냅스의 VLSI 어레이 , Indiveri G, Chicca E, Douglas RJ, 2006
• https://www.amazon.com/Analog-Computing-Ulmann/dp/3486728970
• https://www.amazon.com/Neural-Networks-Analog-Computation-Theoretical/dp/0817639497

여러 가지 이유가 있다고 생각합니다. 우선 : 유연성. 최신 CPU와 GPU를 사용하면 원하는 모든 AI 모델을 원하는 크기와 복잡성으로 구성 할 수 있습니다. 현재 사용중인 모델이 몇 년 안에 여전히 적합한 지 어떻게 확인할 수 있습니까? 향후 몇 년간 NN에 중대한 돌파구가있을 수 있습니까? 아마도 일부 과학자들은 NN, 유전자 알고리즘 등을 사용하는 것보다 AI를 개발하는 더 좋은 방법이 있다는 것을 알게 될 것입니다. 일반 칩은 모든 것을 처리 할 수 ​​있고 충분히 처리 할 수 ​​있습니다. 그러나 최적화를 원한다면 돈에 대해 걱정하지 않아도됩니다. 특별한 아키텍처를 개발할 수 있습니다 (이미 이미 다른 회사에서 수행하여 특정 작업에서 속도를 크게 향상시킵니다).

두 번째 이유 : 대량 생산. 회사는 결국 고도로 통합 된 아날로그 AI 구성 요소 (예를 들어 NN 칩)를 생산할 수 있습니다. 그러나 그것은 더 큰 투자가 될 것입니다. 심각한 AI 하드웨어 대안이 될 정도로 유연한 장치가 CPU 및 GPU와 경쟁 할 수있는 대량 생산으로 쉽게 생산 될 수 있는지는 확실치 않습니다. 특히 후자는 대규모 병렬 계산을 수행하는 데 매우 적합합니다. 그리고 기계 학습에 적합하게 최적화 된 GPU 유사 아키텍처 (몇 가지 일만 할 수 있지만 매우 잘 수행 할 수있는)의 개발을 보면 아날로그 단위와의 경쟁이 어렵다는 것을 알 수 있습니다.

위의 모든 것이이 분야에 대한 연구가 없다는 것을 의미하지는 않습니다. 이를 보관하려는 몇 가지 실험이 있지만 일반적인 아키텍처에서는 아직 위험하지 않습니다. 결국 AI와 인텔리전스를 더 잘 이해하고 조정하려고 할 때 미래에 나올 것입니다. 그러나 나는 그것에 대해 회의적입니다.

편집 : 또한 유연성에도 속합니다 : '일반적인'디지털 하드웨어에서 실행되는 AI 알고리즘을 더 잘 실험 할 수 있습니다. 예를 들어 특정 위치에서 NN을 쉽게 검사하고 입력 데이터를 신속하게 수정하거나 대체 데이터를 제공 할 수 있습니다. 그리고 우리는 여전히 모든 모델을 완전히 알지 못하거나 이해하지 못하기 때문에 언제 어떤 작업을 위해 더 나은 아키텍처가 있다면 고정 된 아날로그에 '젊은'과 '실험적인'것을 넣는 것이 합리적이지 않습니다. 건축물.

빠른 답변

인텔이 너바나를 인수했을 때, 그들은 아날로그 VLSI가 가까운 미래 ^{1, 2, 3} 의 신경성 칩에서 자리를 잡고 있다고 자신의 믿음을 나타냈다 .

아날로그 회로에서 자연적인 양자 노이즈를보다 쉽게 ​​이용할 수있는 능력 때문인지 여부는 아직 공개되지 않았습니다. 단일 VLSI 칩에 패키징 될 수있는 병렬 활성화 기능의 수와 복잡성 때문에 더 가능성이 높습니다. 아날로그는 그 점에서 디지털보다 수십 배나 유리합니다.

AI Stack Exchange 회원이 이처럼 강력하게 표시된 기술의 발전을 가속화하는 것이 유리할 것입니다.

AI의 중요한 트렌드와 비 트렌드

과학적으로이 질문에 접근하려면 추세의 편향없이 아날로그 및 디지털 신호 이론을 대조하는 것이 가장 좋습니다.

인공 지능 애호가는 웹에서 딥 러닝, 기능 추출, 이미지 인식 및 다운로드하고 즉시 실험을 시작할 소프트웨어 라이브러리에 대해 많은 것을 찾을 수 있습니다. 그것은 기술로 대부분의 발을 ​​젖게하는 방법이지만 AI에 대한 빠른 소개는 단점도 있습니다.

소비자 대면 AI의 초기 성공적인 배치에 대한 이론적 기초가 이해되지 않는 경우, 그러한 기초와 상충되는 가정이 형성됩니다. 아날로그 인공 뉴런, 스파이크 네트워크 및 실시간 피드백과 같은 중요한 옵션이 간과됩니다. 양식, 기능 및 안정성 향상이 손상되었습니다.

기술 개발에 대한 열정은 항상 합리적 사고의 적어도 동등한 척도로 강화되어야합니다.

수렴 및 안정성

피드백을 통해 정확성과 안정성이 달성되는 시스템에서 아날로그 및 디지털 신호 값은 항상 단순한 추정치입니다.

• 수렴 알고리즘 또는보다 정확하게 수렴하도록 설계된 전략의 디지털 가치
• 안정적인 연산 증폭기 회로의 아날로그 신호 값

디지털 알고리즘의 오류 수정을 통한 수렴과 아날로그 계측의 피드백을 통해 얻은 안정성 간의 병렬성을 이해하는 것이이 질문에 대해 생각하는 데 중요합니다. 이것들은 현대의 전문 용어를 사용하는 것과 유사합니다. 왼쪽에는 디지털이 있고 오른쪽에는 아날로그가 있습니다.

┌────────────────────────────────┬────────────────── ─────────────┐┐
│ * 디지털 인공 그물 * │ * 아날로그 인공 그물 * │
├────────────────────────────────┼────────────────── ──────────────┤
│ 순방향 전파 │ 1 차 신호 경로 │
├────────────────────────────────┼────────────────── ──────────────┤
│ 에러 기능 │ 에러 기능 │
├────────────────────────────────┼────────────────── ──────────────┤
│ 수렴 │ 안정 │
├────────────────────────────────┼────────────────── ──────────────┤
│ 기울기의 채도 │ 입력에서의 채도 │
├────────────────────────────────┼────────────────── ──────────────┤
│ 활성화 기능 │ 전달 기능 │
└────────────────────────────────┴────────────────── ──────────────┘

디지털 회로의 인기

디지털 회로의 인기가 상승하는 주요 요인은 노이즈 차단입니다. 오늘날의 VLSI 디지털 회로는 평균 고장 시간이 길다 (잘못된 비트 값이 발생한 경우 인스턴스 간 평균 시간).

노이즈를 가상으로 제거함으로써 디지털 회로는 측정, PID 제어, 계산 및 기타 응용 분야에서 아날로그 회로에 비해 상당한 이점을 제공했습니다. 디지털 회로를 사용하면 5 자리까지의 정확도를 측정하고, 뛰어난 정밀도로 제어하며, π를 10 진수로 정확하게 반복하여 안정적으로 계산할 수 있습니다.

디지털 회로 제조에서 규모의 경제를 달성하기 위해 제조 수요를 증가시킨 것은 항공, 방위, 탄도 및 대책 예산이었습니다. 디스플레이 해상도 및 렌더링 속도에 대한 요구로 인해 현재 GPU를 디지털 신호 프로세서로 사용하고 있습니다.

이러한 경제적 인 힘이 최고의 디자인 선택을 야기합니까? 디지털 기반 인공 네트워크가 귀중한 VLSI 부동산을 가장 잘 사용합니까? 이것이이 질문의 도전이며, 좋은 질문입니다.

IC 복잡성의 현실

의견에서 언급했듯이 실리콘에 독립적이고 재사용 가능한 인공 네트워크 뉴런을 구현하려면 수만 개의 트랜지스터가 필요합니다. 이것은 주로 각 활성화 계층으로 이어지는 벡터 행렬 곱셈 때문입니다. 벡터 행렬 곱셈과 레이어의 연산 증폭기 배열을 구현하는 데 인공 뉴런 당 수십 개의 트랜지스터 만 있으면됩니다. 연산 증폭기는 이진 단계, 시그 모이 드, 소프트 플러스, ELU 및 ISRLU와 같은 기능을 수행하도록 설계 될 수 있습니다.

반올림으로 인한 디지털 신호 노이즈

디지털 신호는 대부분의 디지털 신호가 반올림되므로 근사치이므로 노이즈가 없습니다. 역 전파에서 신호의 포화는 먼저이 근사에서 생성 된 디지털 노이즈로 나타납니다. 신호가 항상 동일한 이진 표현으로 반올림되면 추가 채도가 발생합니다.

$v$$e$$k$$n$$N$

$v = \sum_{n = 0}^{N} 1_n \, 2^{\, k + e + N - n}$

0.2로 예상되는 답변이 0.20000000000001로 나타날 때 프로그래머는 배정도 또는 단 정밀도 IEEE 부동 소수점 숫자로 반올림하는 효과를 겪는 경우가 있습니다. 5는 2의 인수가 아니기 때문에 5 분의 1을 이진수로 완벽하게 표현할 수 없습니다.

미디어 오버 사이언스와 인기 트렌드

$E = mc^2$

많은 기술 제품과 마찬가지로 기계 학습에는 4 가지 주요 품질 지표가 있습니다.

• 효율성 (속도와 사용 경제성 향상)
• 신뢰할 수 있음
• 정확성
• 종합 성 (유지 보수성을 촉진)

때때로, 항상 그런 것은 아니지만, 하나의 달성이 다른 것을 타협하는 경우, 균형을 be어야합니다. 그라디언트 디센트 (gradient descent)는이 네 가지를 균형있게 조정하는 디지털 알고리즘으로 실현 될 수있는 컨버전스 전략입니다. 이것이 멀티 레이어 퍼셉트론 훈련과 많은 딥 네트워크에서 지배적 인 전략입니다.

이 4 가지 사항은 Bell Labs의 첫 번째 디지털 회로 또는 진공관으로 실현 된 최초의 플립 플롭 이전에 Norbert Wiener의 초기 사이버네틱스 작업의 핵심이었습니다. 사이버네틱스 (cybernetics)라는 용어는 그리스어 κυβερνήτης (kyvernítis로 발음 됨 ) 에서 유래 한 것으로, 방향 과 항해는 끊임없이 변화하는 바람과 전류를 보상해야했으며 배는 의도 된 항구 나 항구에 수렴해야했습니다.

이 질문의 미미한 경향은 아날로그 네트워크를위한 규모의 경제를 달성하기 위해 VLSI가 달성 될 수 있는지에 대한 아이디어를 둘러 쌀 수 있지만 저자가 제시 한 기준은 추세 주도적 관점을 피하는 것입니다. 그렇지 않은 경우에도, 전술 한 바와 같이, 디지털보다 아날로그 회로를 갖는 인공 네트워크 층을 생성하기 위해 훨씬 더 적은 트랜지스터가 요구된다. 따라서 VLSI 아날로그를 달성하는 데주의를 기울이면 합리적인 비용으로 VLSI 아날로그를 실현할 수 있다고 가정하면이 질문에 대답하는 것이 합법적입니다.

아날로그 인공 네트워크 설계

아날로그 인공 그물은 IBM / MIT 합작 투자를 포함, 전세계 모든 연구되고있다, 인텔의 열반, 구글, 1992 년 초 한 미 공군 ⁵ , 테슬라, 그리고 많은 다른 사람들이, 어떤 의견에 표시된이에 추가 질문.

인공 네트워크를위한 아날로그에 대한 관심은 VLSI 칩 면적의 제곱 밀리미터에 맞출 수있는 학습과 관련된 병렬 활성화 기능의 수와 관련이 있습니다. 이는 필요한 트랜지스터 수에 크게 좌우됩니다. 감쇠 매트릭스 (학습 파라미터 매트릭스) ( ⁴⁾ 는 벡터-매트릭스 곱셈을 필요로하는데, 이는 많은 수의 트랜지스터를 필요로하므로 상당한 VLSI 영역을 필요로한다.

완전한 병렬 훈련을 위해 기본 다층 퍼셉트론 네트워크에 5 개의 독립적 인 기능적 구성 요소가 있어야합니다.

1. 각 계층의 활성화 함수 사이에서 순방향 전파의 진폭을 매개 변수화하는 벡터 행렬 곱셈
2. 매개 변수 유지
3. 각 레이어의 활성화 기능
4. 역 전파에 적용 할 활성화 레이어 출력 유지
5. 각 층에 대한 활성화 함수의 파생

아날로그 회로에서는 신호 전송 방법에 내재 된 더 큰 병렬 처리로 2와 4가 필요하지 않을 수 있습니다. Spice와 같은 시뮬레이터를 사용하여 피드백 이론 및 고조파 분석이 회로 설계에 적용됩니다.

$c_p$$c(\int r)$$r(t, c)$$t$$i$$I$$w_i$ $\tau_p$$\tau_a$$\tau_d$

$c = c_p \; c(\int r(t, c) \, dt) \; \Big( \sum_{i = 0}^{I - 2} \, (\tau_p w_i w_{i-1} + \tau_a w_i + \tau_d w_i) + \tau_a w_{I-1} + \tau_d w_{I-1} \Big)$

현재 아날로그 집적 회로에서 이러한 회로의 공통 값을 위해, 우리는 동등한 교육 병렬 처리를 통해 시간이 지남에 따라 디지털 칩보다 최소 3 배 낮은 값으로 수렴되는 아날로그 VLSI 칩 비용이 있습니다.

노이즈 인젝션 직접 해결

"우리는 수렴 알고리즘의 다음 단계를 추정하기 위해 그라디언트 (Jacobian) 또는 2 차 모델 (Hessian)을 사용하고 고의로 노이즈를 추가하거나 의사 랜덤 랜덤 섭동을 주입하여 오류에서 로컬 우물을 뛰어 넘어 수렴 신뢰성을 향상시킵니다. 수렴하는 동안 표면. "

의사 랜덤 노이즈가 훈련 및 수렴 알고리즘과 같은 실시간 재진입 네트워크에 수렴 알고리즘에 주입되는 이유는 그 세계 최소값이 아닌 시차 (오류) 표면에 로컬 최소값이 있기 때문입니다. 표면. 글로벌 최소값은 인공 네트워크의 최적의 훈련 상태입니다. 지역 최소치는 최적과 거리가 멀 수 있습니다.

이 표면은 모수의 오차 함수 (이 단순화 된 경우 ^{6 중} 2 ^개 )와 전역 최소값의 존재를 숨기는 국소 최소값 문제를 보여줍니다. 표면의 낮은 지점은 최적의 훈련 수렴의 지역 지역의 임계 지점에서 최소를 나타냅니다. ^7,8

오류 기능은 단순히 훈련 중 현재 네트워크 상태와 원하는 네트워크 상태 간의 차이를 측정 한 것입니다. 인공 네트워크를 훈련하는 동안 목표는이 차이의 전 세계 최소값을 찾는 것입니다. 이러한 표면은 샘플 데이터가 라벨링되었는지 또는 라벨링되지 않았는지 여부 및 훈련 완료 기준이 인공 네트워크의 내부인지 외부인지에 존재한다.

학습 속도가 작고 초기 상태가 매개 변수 공간의 원점 인 경우, 기울기 하강을 사용하는 수렴은 가장 오른쪽에있는 글로벌 최소값이 아니라 가장 왼쪽의 웰까지 수렴합니다.

학습을 위해 인공 네트워크를 초기화하는 전문가가 두 최소 점 사이의 중간 점을 선택하기에 충분히 영리하더라도 해당 지점의 기울기가 여전히 왼쪽 최소쪽으로 기울어지고 수렴이 최적이 아닌 훈련 상태에 도달합니다. 훈련의 최적 성이 중요 할 경우, 훈련은 생산 품질 결과를 달성하지 못할 것입니다.

사용되는 한 가지 솔루션은 수렴 프로세스에 엔트로피를 추가하는 것인데, 이는 종종 의사 난수 생성기의 감쇠 된 출력을 주입하는 것입니다. 덜 자주 사용되는 또 다른 솔루션은 훈련 프로세스를 분기하고 두 번째 수렴 프로세스에서 많은 양의 엔트로피를 주입하여 보수적 인 검색과 다소 거친 검색이 병렬로 실행되도록하는 것입니다.

초소형 아날로그 회로의 양자 노이즈는 디지털 의사 랜덤 생성기보다 엔트로피의 신호 스펙트럼에 대해 더 큰 균일 성을 가지며 고품질 노이즈를 달성하기 위해 훨씬 적은 트랜지스터가 필요하다는 것은 사실입니다. VLSI 구현에서 이러한 과제를 극복했는지 여부는 정부와 기업에 포함 된 연구소에서 아직 밝혀지지 않았습니다.

• 훈련 속도와 신뢰성을 향상시키기 위해 측정 된 무작위 량을 주입하는 데 사용되는 이러한 확률 적 요소가 훈련 중에 외부 소음에 적절하게 영향을 받습니까?
• 내부 누화로부터 충분히 보호됩니까?
• VLSI 제조 비용을 낮추어 고액의 연구 기업 이외의 더 큰 사용 지점에 도달 할 수있는 수요가 발생합니까?

세 가지 도전은 모두 그럴듯하다. 디자이너와 제조업체가 아날로그 신호 경로 및 활성화 기능의 디지털 제어를 촉진하여 고속 훈련을 달성하는 방법이 확실하고 매우 흥미 롭습니다.

각주

[1] https://ieeexplore.ieee.org/abstract/document/8401400/

[2] https://spectrum.ieee.org/automaton/robotics/artificial-intelligence/analog-and-neuromorphic-chips-will-rule-robotic-age

[3] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-between-analog-and-neuromorphic-chips-in-robots/11820

감쇠 (Attenuation)는 하나의 액츄 에이션에서 출력 가능한 신호를 훈련 가능한 투과율로 곱하여 후속 레이어의 활성화에 대한 입력을 위해 다른 것들과 합산되는 부가 물을 제공하는 것을 말한다. 이 용어는 물리학 용어이지만 전기 공학에서 자주 사용되며 교육 수준이 낮은 원에서 레이어 입력 가중치라는 기능을 수행하는 벡터 행렬 곱셈의 기능을 설명하는 데 적합한 용어입니다.

[5] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[6] 인공 네트워크에는 두 개 이상의 매개 변수가 있지만이 그림에는 두 개만 표시됩니다. 플롯은 3 차원으로 만 이해할 수 있고 오류 함수 값에 대해 3 차원 중 하나가 필요하기 때문입니다.

$z = (x-2)^2 + (y-2)^2 + 60 - \frac {40} {\sqrt{1 + (y - 1.1)^2 + (x - 0.9)^2}} - \frac {40} {(1 + {((y - 2.2)^2 + (x - 3.1)^2)}^4)}$

[8] 관련 gnuplot 명령 :

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

아날로그 셀의 디지털 계측

아날로그 인공 네트워크의 주요 과제 중 하나는 디지털 경우 네트워크 계측이 가장 실용적이라는 것입니다. 아날로그 퍼셉트론, 컨볼 루션 또는 스파이 킹 네트워크의 모든 VLSI 구현에는 여러 기능을 위해 하이브리드 구성으로 디지털 구성 요소가 있어야합니다.

• 건강 지표
• 고장 표시기
• 학습 매개 변수의 보관 및 검색 ¹
• 전반적인 시스템 제어
• 하이퍼 파라미터 설정
• 운영 통계
• 개발 및 디버깅을위한 검사
• 중단 점
• 감사 가능성

이는 범용 아날로그 인공 학습 네트워크를 실현하기 위해서는 A에서 D로, D에서 A 로의 변환이 필요하다는 것을 의미합니다. ² VLSI 설계 과제는 많은 수의 변환 블록을 도입함으로써 트랜지스터가 쌓이는 것을 방지한다. 이는 전진 및 후진 전파의 아날로그 실현의 밀도 이점을 무너 뜨릴 것이다.

가능한 해결책은 래칭 매트릭스를 사용하여 D-to-A 컨버터에서 커패시터로 신호를 분배하고 누설이 적은 스위칭 매트릭스를 사용하여 A-D 컨버터로 읽을 값을 선택하는 것입니다. 이것은 아날로그 경로에 디지털 노이즈를 도입하지 않고 저장된 전하를 저하 시키거나 충전 할 때 정확도의 손실없이 수행해야합니다.

주 네트워크 회로 외부의 추가 트랜지스터 및 경로의 수는 VLSI 설계 프로세스를 통해서만 확인할 수 있습니다.

중요한 오픈 소스 공헌

University of Massachusetts는 2018 년 2 월 오픈 소스 BindsNet 저장소 ^3,4 를 출시했습니다.이 소프트웨어는 디지털 소프트웨어 및 하드웨어를 사용하여 아날로그 스파이 킹 네트워크를 시뮬레이션하고 PyTorch를 통해 GPU 가속을 활용합니다.

이것은 스파이 킹 네트워크 설계 및 전략에 대한 현재의 실험을 용이하게합니다. 충분히 중요한 시뮬레이션을 사용한 성공은 우수한 VLSI 설계로 이어질 것입니다.

각주

[1] 실제 학습 시스템에서 학습 된 매개 변수는 VLSI 구현에서 추출하여 데이터베이스에 저장해야하며 배포, 결함 원인 분석, 스케일링 및 재해 복구. VLSI 하이브리드 아날로그 인공 네트워크의 기본 기능은 교육 및 실제 현장 사용 중 에포크간에 저장 및로드가 기본 기능이어야합니다.

[2] 인공 네트워크의 학습 상태를 커패시터에 무한정 유지할 수는 없다. 커패시터는 표준 CMOS 공정으로 설계된 아날로그 회로의 주요 수동 부품이되었지만 용량이 크지 않고 누설이 0이 아닙니다. 용량 성 저장 회로의 반감기 및 파라미터 값의 필요한 정확도는 판독 및 조건부 재 갱신 사이클의 속도를 결정할 것이다.

[3] BindsNet 오픈 소스 저장소

[4] BindsNET [논문], • 기계 학습 중심의 파이썬에서 신경 네트워크 라이브러리를 급상승 BindsNet 용지에서 추상의 하버드 U 간행물을 위해.

아날로그 AI 분야에서 구체적인 연구 방향을 언급 한 사람이 아무도 없습니다. 또한 인공 지능을 명확히하는 것은이 답변이 제안 하는 것과 같은 기계 학습과 정확히 동일하지 않습니다 . 아날로그 계산의 최근 발전은 기계 학습 분야에서만 이루어졌습니다.

아날로그 CMOS :

먼저 뉴런의 초기 아날로그 구현에 대해 이야기하겠습니다. Dr.Giacomo Indiveri 등 은이 분야의 선구자 중 소수에 불과했습니다. CMOS 로직을 사용하면 STDP (Spike Time Dependent Plasticity)를 사용하여 스파이 킹 신경망을 설계 할 수 있지만 머신 러닝 알고리즘에서는 사용하기가 어렵습니다. 인간의 뇌는 아직 완전히 이해되지 않았으며, 특히 복잡한 정보를 스파이크와 통신하는 방법을 이해하지 못했습니다. 스파이크 기반 네트워크는 비교적 작은 이미지 인식과 낮은 복잡성 작업을 수행하는 데 능숙합니다 (대부분의 논문은 매우 복잡한 작업에 적용하기보다는 성능 향상에 더 관심이있는 것으로 보입니다). 사용 가능한 트랜지스터의 수가 많기 때문에 복잡한 작업에서 트랜지스터를 사용할 수 있습니다.

가장 좋은 예는 Google이 시간, 정밀도 및 영역간에 어떤 종류의 상충 관계를 유발하는 수많은 처리 장치를 사용하여 TPU에서 정밀도가 낮고 정밀도를 보상한다는 아이디어를 사용하는 것입니다. 이것은 정밀도는 낮지 만 프로세서의 수많은 트랜지스터와 유사 할 수 있습니다. ( Google 최초의 TPU (Tensor Processing Unit)에 대해 자세히 살펴보기 )

참고 : 일부는 CMOS 기술이 디지털 영역에 속한다고 주장 할 수도 있지만 여기서는 CMOS를 사용하여 디지털 작업을 수행하지 않기 때문에 아날로그라고 생각합니다.

스파이크 기반 작업은 Winner Take All 네트워크 ( 자체 구성 맵 과 같은 종류 )에 매우 적합하므로 VLSI 칩에서 머신 러닝 알고리즘을 구현하는 일반적인 방법입니다.

스파이크 기반 네트워크에는 이상적인 메모리가 없으므로 고정밀 가중치를 가질 수 없습니다. 그들은 커패시터를 사용하여 생물학적 무게 또는 시냅스 또는 메모리를 구현할 것을 제안했지만, 전하 누출과 같은 일반적인 실리콘 칩과 유사한 문제와 다른 실리콘 기반 비 이상성 및 내가 이해 한 것에서 제한된 무게를 모델링 할 수 있습니다. -1, 0, 1과 같은).

디지털 계산 :

여기, 디지털 계산이 온다. 많은 양의 부동 소수점 표현이 필요한 작업은 단순히 스파이크에 의해 구현 될 수 없습니다. 왜냐하면 우리는 아직 그 문제에 대한 생물 물리학 적 또는 실제 뉴런의 모든 측면을 모방하거나 완전히 모방 할 수 없기 때문입니다. 디지털 계산은 단순히 우리가 원하는만큼 정밀하게 더 많은 정보를 전달하는 데 도움이됩니다 (CPU를 설계하는 경우). 병목 현상은 디지털 계산을위한 Von Neumann 아키텍처의 알려진 단점이지만 스파이크를 통한 정보 표현만큼 큰 문제는 아닙니다. 스파이크는 항상 고정 된 크기를 가지며, 아마도 정보를 전달할 수있는 유일한 방법은 빈도와 부호 (흥분 또는 금지)에 의한 것입니다. 또한 현대 컴퓨터에서는 클럭 속도가 상당히 높습니다.

멤 리스터 : 새로운 방향

여기에 가장 최근의 발명품 인 Memristor 가옵니다 . 이것은 지금까지 머신 러닝에서 가장 유망한 아날로그 장치였습니다. Memristors는 70 년대에 예측되어 2008 년에만 생산 된 매우 새로운 개념으로, 기본적으로 RRAM 또는 Resisitive RAM입니다. 여기에서 메모리 저항 또는 멤 리스터 의 저항은 과거의 현재 이력과 직접 관련되어 있으며 뉴런의 생물 물리학 적 모델과 매우 유사합니다. 또한 멤 리스터의 크로스바 어레이 (기본적으로 전기 접점 매트릭스)를 사용하여 쉽게 학습 할 수 있습니다 (크로스바 어레이는 가중치 행렬을 나타내며 행 또는 열을 따라 적용된 전압은 순방향 전파 또는 역방향 전파를 결정합니다).

따라서 Memristor는 기계 학습 알고리즘에 실제 아날로그 스핀을 제공합니다. 불행히도 최근 도착으로 인해 아직 해결되지 않은 많은 문제가 있습니다.

• 멤 리스터는 매우 빠르게 저하 될 수 있습니다. 즉 훈련주기가 제한되어 있습니다.
• Memristors는 많은 소음을 발생시켜 ML 엔지니어가 생각할 수있는 정규화의 원인에 도움이되지 않는 것 같습니다.
• $TiO_2$$HfO_2$

퍼듀 대학교 나노 전자 연구소

전기 화학 재료, ETH 취리히

휴먼 브레인 프로젝트

MARCS 뇌, 행동 및 개발 연구소

신경성 포토닉스 :

최근에, 뉴 로모 픽 포토닉스 분야에 관심이 있었다. 여기에 짧은 기사 가 있습니다. 나는 그 내부 작업에 익숙하지 않지만 AFAIK에는 처리 칩 자체 내에서 광학 형태의 정보 전송이 포함됩니다. 이는 일반적인 아날로그 또는 디지털 회로에 비해 몇 가지 장점이 있습니다.

• 빠른 정보 처리.
• 높은 정보 밀도.
• 손실이 매우 적어 데이터 충실도가 향상되었습니다.

나는 대부분의 사람들이 실질적으로 유익한 방법으로 질문에 부지런히 대답했다고 생각합니다. 우리는 디지털 회로를 일반적으로 사용한다고 말하고 싶습니다. 왜냐하면 그것은 기존의 기술 이기 때문에 아날로그 회로가 정말 유망한 것 같습니다.

그러나 현재이 아이디어는 지난 몇 년간 수행 된 연구의 양에도 불구하고 잘 발달되지 않았습니다. 지금까지 어느 회사도 실험실 밖에서 사용하기 위해 이러한 칩을 만드는 상업적인 수준에서 아이디어를 구현하려고 시도하지 않았습니다.

게다가이 아이디어는 새로운 접근 방식으로 느껴지고 큰 잠재력을 가지고 있습니다.

그러나 일부 모델의 작동 방식에 대한 이해가 부족하기 때문에 일부 모델은 문제가되지 않습니다. 신경망이 실제로 이러한 복잡한 문제와 다른 많은 문제를 해결 하는 방법 때문에, 그 잠재력을 최대한 발휘하는 것은 여전히 ​​먼 기술입니다.

추신 : 나는 여전히이 분야의 초보자이며 내 의견이 그렇게 중요하지 않다고 생각합니다. 어딘가에 중복되었거나 예상 답변을 제공하지 못하면 진심으로 후회합니다.

정보 이론 측면에서 질문에 접근 할 수도 있습니다.

선택할 수있는 두 가지 장단점이 있습니다.

보다 정확한 / 특정 방식으로 정보를 표현할 수 있지만 수량이 제한되는 아날로그 정보.

실제 세계를 완전히 대표하지는 않지만 몇 비트 내에 무제한의 정보를 포함 할 수있는 디지털 정보. 좋은 예는 증가하는 for 루프와 같은 것일 수 있습니다.

i = 0
while True:
   print(i)
   i += 1

그렇다면 어느 것이 더 강력합니까?

하바 시겔 만

처음에는 아날로그 컴퓨팅이 디지털보다 우수합니다. 양자 컴퓨터는 Von-Neumann 컴퓨터보다 빠르며 신경성 칩은 인텔 CPU보다 적은 에너지를 필요로합니다. 또한 이론적 인 관점에서 많은 사람들이 아날로그 컴퓨터를 말합니다. Hava Siegelmann은 신경망의 Super-turing 기능을 연구했습니다. 이는 아날로그 컴퓨터가 디지털 방식으로는 에뮬레이션을 할 수 있지만 그 반대는 아닙니다. 그렇다면 왜 아날로그 컴퓨팅을 사용하지 않아야합니까?

스티븐 볼프람

그 이유는 교육 시스템과 관련이 있습니다. 학교에서 가르치는 고전 수학은 아날로그 수학입니다. 슬라이드 규칙, 로그 테이블 및 회로의 사고를 기반으로합니다. 반대로, 알고리즘의 이산 값을 생각하고 세상을 0으로 묘사하는 것은 근본적으로 다르며 우리를 새로운 종류의 수학으로 이끌어줍니다. 스티븐 볼프람 (Stephen Wolfram)은 셀룰러 오토 마톤에 대한 이해는 우주를 설명하는 중요한 단계이며 그는 옳다고 설명했다. 아날로그 수학을 무시하고 튜링 가능한 컴퓨터 언어를 선호하는 것은 교육에서 강력한 방법입니다. 그것은 컴퓨터뿐만 아니라 의학, 문학 및 경제와 같은 다른 모든 것들에 익숙해지는 데 도움이됩니다. 아날로그 기계가 기술적으로 우수하더라도 느리지 만 개별 튜링 기계를 선호해야합니다.

수학 교육

디지털과 아날로그 계산의 차이점을 이해하려면 학교에서 사용되는 수학 자체에 중점을 두어야합니다. 아이디어가 아날로그 계산을 진행시키는 것이라면, 적절한 종류의 수학이 전기장, 통합 및 차별화를 중심으로 그룹화됩니다. 학교에서 이것은“수학적 분석”이라는 포괄적 인 용어로 가르칩니다. 분석은 교량, 기계 및 자동차를 만드는 데 도움이되므로이 주제는 과거에 매우 중요했습니다. 이러한 모든 영역에서 기하학적 공간을 설명하기위한 벡터 대수가 사용됩니다.

아날로그 계산이 그렇게 강력하다면 왜 누가 디지털 수학이 필요한가요? 알고리즘과 관련이 있습니다. Planimeter 및 Differential Analyzer가 제공 할 필요가없는 것은 프로그래밍 기능입니다. 알고리즘 및 인공 언어를 정의 할 수 없습니다. 수학의 역사를 살펴보면 알고리즘 이론은 과거에는 그리 일반적이지 않았다. 현대 수학에서는 람다 미적분학 및 정지 문제 라는 용어로 논의됩니다 .

재미있는 점은, 첫 번째 모습에서 Lamda 미적분학에는 실용적인 응용 프로그램이 없다는 것입니다. 누군가가 다리의 면적을 계산하고 싶다면 필요하지 않습니다. 알고리즘 이론은 비판적 사고를 향상시키는 사고 학교입니다. 기계가 아니라 인간이 필요로하는 철학입니다.