왜 Nvidia의 칩을 사용할 수있게 된 후에 ML이 실현 가능한가?

나는 두 명의 영향력있는 중국 과학자들로 구성된 패널의 이야기를 들었다 : Wang Gang 과 Yu Kai 그리고 다른 사람들.

가까운 미래 (3 ~ 5 년)에 인공 지능 개발의 가장 큰 병목 현상에 대해 질문을 받았을 때 하드웨어 산업에 대한 배경 지식을 보유한 Yu Kai는 하드웨어가 필수 문제이며 대부분의 비용을 지불해야한다고 말했다. 우리의 관심. 그는 우리에게 두 가지 예를 주었다.

1. 컴퓨터의 초기 개발에서 우리는 우리의 기계를 칩으로 비교합니다.
2. Nvidia의 GPU로 힘을 얻지 않으면, 매우 인기있는 인공 지능은 거의 불가능할 것입니다.

기본 알고리즘은 1980 년대와 1990 년대에 이미 존재했지만 인공 지능은 3 번의 AI 겨울을 거쳤으며 GPU로 강화 된 메가 서버로 모델을 훈련 할 때까지는 실험적이지 않았습니다.

Wang 박사는 세계의 모든 GPU와 계산을 결합한 경우에도 자동 자동차를 만들 수 없기 때문에 소프트웨어 시스템도 개발해야한다고 의견을 밝혔습니다.

평소와 같이, 내 마음이 방황하고 1980 년대와 1990 년대에 슈퍼 컴퓨터를 운영 할 수있는 사람들이 기존의 신경망 알고리즘을 활용하여 수많은 과학적 데이터로 훈련한다면 어떻게 될까 생각하기 시작했습니다. 당시 일부 사람들은 현재 우리가 구축하고있는 AI 시스템 구축을 시도 할 수 있습니다. 그러나 왜 AI가 인기있는 주제가되었고 수십 년이 지난 후에야 경험적으로 되나요? 하드웨어, 소프트웨어 및 데이터의 문제입니까?

AI 산업의 붐에는 많은 요인이 있습니다. 많은 사람들이 그리워하는 것은 붐이 대부분 AI의 기계 학습 부분에 있다는 것입니다. 이것은 초기의 비교와 함께 여러 가지 간단한 이유 때문일 수 있습니다.

• 수학 : ML 알고리즘의 배후에있는 수학은 꽤 간단하고 오랫동안 알려져 있습니다 (작동하는지 여부는 알 수 없음). 이전에는 칩에서 높은 정밀도를 요구하는 알고리즘을 수용 가능한 시간 내에 구현할 수 없었습니다. 숫자의 주요 산술 연산 나누기 중 하나는 현대 프로세서에서 여전히 많은 사이클을 필요로합니다. 구형 프로세서는 최신 프로세서 (100 배 이상)보다 크기가 느리기 때문에이 병목 현상으로 인해 현대 프로세서에서 정교한 모델을 학습 할 수 없었습니다.
• $1$$0$
• 병렬화 : 매트릭스 연산의 병렬화 개념은 새로운 것이 아닙니다. 우리가 딥 러닝을 일련의 행렬 연산으로 보았을 때만 우리는 대규모 병렬 GPU에서 쉽게 병렬화 할 수 있음을 깨달았지만 ML 알고리즘이 본질적으로 병렬이 아니더라도 CPU를 사용하는지 GPU를 사용하는지는 거의 중요하지 않습니다 ( 예를 들어 RNN).
• 데이터 : 아마도 ML 붐의 가장 큰 원인입니다. 인터넷은 사용자로부터 많은 양의 데이터를 수집 할 수있는 기회를 제공했으며이를 이해 당사자가 이용할 수있게했습니다. ML 알고리즘은 데이터를 기반으로하는 함수 근사치이므로 데이터는 ML 알고리즘에서 가장 중요한 것입니다. 데이터가 많을수록 모델 성능이 향상됩니다.
• 비용 : ML 모델 교육 비용이 크게 줄었습니다. 따라서 슈퍼 컴퓨터를 사용하여 모델을 훈련시키는 것이 좋지만 그만한 가치가 있었습니까? 일반 PC와 달리 슈퍼 컴퓨터는 냉각, 공간 등의 측면에서 막대한 자원이 필요합니다. 최근 기사MIT Technology Review에서 딥 러닝 모델 (ML의 하위 브랜치) 교육의 탄소 발자국을 지적합니다. 초기에 슈퍼 컴퓨터를 교육 할 수 없었던 이유는 아주 좋은 지표입니다 (현대 프로세서를 고려하면 훨씬 적은 전력을 소비하고 더 높은 속도를 제공함). 비록 확실하지는 않지만 초기 슈퍼 컴퓨터는 "병렬 + 초 고정밀 컴퓨팅"(날씨, 천문학, 군사 응용 프로그램 등에 필요)에 특화된 것으로 생각하고 "매우 높은 예측 부분"은 머신 러닝 시나리오에서 과잉입니다.

또 다른 중요한 측면은 오늘날 모든 사람들이 강력한 컴퓨터에 액세스 할 수 있다는 것입니다. 따라서 누구나 새로운 ML 모델을 구축하고 기존 모델을 재교육하고 모델을 수정하는 등의 작업을 수행 할 수 있습니다.

이 모든 요인들로 인해 ML에 대한 관심이 급증했으며 오늘날 우리가 붐을 일으켰습니다. 또한 우리가 어떻게 디지털 프로세서를 넘어서 나아가고 있는지에 대한 질문 을 확인하십시오 .

AI 붐으로 인해 GPU가 이상적

• 그들은 적시에 맞았다

AI는 오랫동안 연구되어 왔습니다. 거의 반세기. 그러나 그것은 알고리즘이 어떻게 작동하고 보이는지에 대한 탐구였습니다. NV가 AI가 주류가 될 것을 보았을 때, 그들은 GPU를 살펴보고 비교적 쉬운 프로그래밍 기능을 갖춘 거대한 병렬 처리 능력이 미래의 시대에 이상적이라는 것을 깨달았습니다. 다른 많은 사람들도 그 사실을 깨달았습니다.

• GPU는 일종의 범용 가속기입니다.

GPGPU는 일반적인 작업에 GPU 병렬 처리를 사용하는 개념입니다. GPU에서 그래픽을 가속화하거나 알고리즘을 사용하여 1000 개의 코어를 사용할 수 있습니다. 그것은 AI를 포함한 모든 종류의 사용 사례에 GPU를 최고의 대상으로 만듭니다. 그것들은 이미 사용 가능하고 프로그래밍하기가 어렵지 않기 때문에 AI 알고리즘을 가속화하기위한 이상적인 선택입니다.