딥 러닝 접근 방식의 문제 및 대안?

지난 50 년 동안 신경망의 인기 상승 / 하강은 인공 지능 연구의 '기압계'의 역할을 해왔습니다.

이 사이트의 질문에서 사람들이 다양한 어려운 문제에 딥 러닝 (DL)을 적용하는 데 관심이 있다는 것은 분명합니다.

따라서 두 가지 질문이 있습니다.

1. 실무자-문제에 DL '즉시 사용'을 적용하는 데 주된 장애물은 무엇입니까?
2. 연구원-실제 문제를 해결하는 데 도움이되는 어떤 기술을 사용하거나 개발 했습니까? 그들은 DL 내에 있습니까 아니면 대안적인 접근법을 제공합니까?

요약하자면, 응용 딥 러닝에는 두 가지 주요 문제가 있습니다.

• 첫 번째는 계산적으로 철저합니다. 일반 CPU는 딥 러닝으로 기본 계산 / 훈련을 수행하는 데 많은 시간이 필요합니다. 그러나 GPU는 권장되지만 많은 상황에서 충분하지 않을 수도 있습니다. 일반적인 딥 러닝 모델은 다항식의 이론적 시간을 지원하지 않습니다. 그러나 동일한 작업에 대해 ML에서 비교적 간단한 모델을 보면 너무 간단한 알고리즘에 필요한 훈련 시간이 다항식이라는 수학적 보장이 너무 자주 있습니다. 이것은 나에게 적어도 가장 큰 차이 일 것입니다.

  그러나이 문제를 해결할 수있는 솔루션이 있습니다. 하나의 주요 접근법은 DL 알고리즘을 여러 반복으로 만 최적화하는 것입니다 (실제로 글로벌 솔루션을 보는 대신 알고리즘을 우수한 로컬 솔루션으로 최적화하는 반면 "Good"에 대한 기준은 사용자가 정의 함).

• 젊은 딥 러닝 애호가들에게는 약간 논란이 될 수있는 또 다른 문제는 딥 러닝 알고리즘에는 이론적 인 이해와 추론이 없다는 것입니다. Deep Neural Networks는 손글씨 인식, 이미지 처리,자가 운전 차량, 신호 처리, NLP 및 생체 의학 분석을 포함한 많은 상황에서 성공적으로 사용되었습니다. 이러한 경우 중 일부는 심지어 인간을 능가했습니다. 그러나 그것은 이론적으로 대부분의 통계 방법만큼 건전한 상황에 있지 않습니다.

  나는 자세하게 설명하지 않고 오히려 그것을 당신에게 맡깁니다. 모든 알고리즘 / 방법론에 장단점이 있으며 DL도 예외는 아닙니다. 많은 상황에서 입증 된 것처럼 매우 유용하며 모든 젊은 데이터 과학자는 적어도 DL의 기본 사항을 배워야합니다. 그러나 비교적 간단한 문제의 경우 유명한 통계적 방법을 사용하는 것이 좋습니다. 이론적 결과 / 보증자가이를 지원하기 때문에 많은 통계적 방법을 사용하는 것이 좋습니다. 또한 학습 관점에서 간단한 접근 방식으로 시작하여 먼저 마스터하는 것이 좋습니다.

ML / DL에 대한 경험이 거의 없어서 실무자 중 한 사람이라고 부르지 만 여기에 첫 번째 질문에 대한 대답이 있습니다.

핵심 DL에서 분류 작업을 잘 해결합니다. 모든 실제적인 문제가 분류의 관점에서 표현 될 수있는 것은 아닙니다. 분류 영역을 미리 알아야합니다. 분류는 모든 유형의 데이터에 적용 할 수 있지만 NN을 적용 할 특정 도메인의 샘플로 NN을 훈련시켜야합니다. 동일한 모델 (NN 구조)을 유지하면서 도메인이 어느 시점에서 전환되면 새로운 샘플로 재교육을 받아야합니다. 더욱이, 가장 우수한 분류기조차도 "갭"을 갖는다- 적대적인 예 는 훈련 샘플로부터 쉽게 구성 될 수있어서, 변화는 인간에게는 인식되지 않지만 훈련 된 모델에 의해 잘못 분류된다.

질문 2. 하이퍼 차원 컴퓨팅이 딥 러닝의 대안인지 여부를 연구하고 있습니다. Hyper-D는 매우 긴 비트 벡터 (10,000 비트)를 사용하여 정보를 인코딩합니다. 벡터는 무작위 적이며 따라서 대략 직교한다. 이러한 벡터의 모음을 그룹화하고 평균화함으로써, "세트"가 형성되고 나중에 미지의 벡터가 세트에 속하는지 확인하기 위해 질의 될 수있다. 세트는 개념 또는 일반화 이미지 등으로 간주 될 수 있습니다. 인식은 훈련 속도가 매우 빠릅니다. 해야 할 일은 딥 러닝이 성공한 도메인을 시뮬레이션하고 Hyper-D를 도메인과 비교하는 것입니다.

수학의 관점에서 여러 계층이있는 심층 네트워크의 주요 문제 중 하나는 사라지 거나 불안정한 그래디언트 입니다. 각각의 추가 숨겨진 레이어는 상당히 느리게 학습하여 추가 레이어의 이점을 거의 무효화합니다.

현대의 딥 러닝 접근법은 이러한 행동을 개선 할 수 있지만, 단순하고 구식 인 신경망에서는 이것이 잘 알려진 문제입니다. 당신은 잘 쓰여진 분석을 찾을 수 있습니다 여기에 더 깊은 연구를 위해.