통계 및 빅 데이터 neural-networks

4

텍스트 마이닝 : 인공 지능으로 텍스트 (예 : 뉴스 기사)를 클러스터링하는 방법?

나는 탁구 연주, 필기 숫자 및 물건 분류와 같은 다양한 작업을 위해 일부 신경망 (MLP (완전히 연결되어 있음), Elman (반복))을 만들었습니다. 또한 여러 자필 필기 노트를 분류하기 위해 첫 번째 회선 신경망을 구축하려고 시도했지만 25x25 크기의 이미지와 같은 표준화 된 입력에 의존 할 수있는 이미지 인식 / 클러스터링 작업에서 텍스트를 …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

4

인공 신경망이란 무엇입니까?

우리가 신경망 문학 을 탐구함에 따라 , 우리는 신경 형태 토폴로지 ( "Neural-Network"-like architectures)로 다른 방법을 식별하게된다. 저는 보편적 근사 정리 에 대해 이야기하고 있지 않습니다 . 아래에 예가 나와 있습니다. 그렇다면 인공 신경망의 정의는 무엇입니까? 그것의 토폴로지는 모든 것을 다루는 것처럼 보입니다. 예 : 우리가 처음으로 식별하는 것 중 …

15 machine-learning neural-networks deep-learning unsupervised-learning supervised-learning

2

신경 네트워크 대 다른 모든 것

Google 에서 이것에 대한 만족스러운 답변을 찾지 못했습니다 . 물론 내가 가진 데이터가 수백만 정도라면 딥 러닝이 길입니다. 그리고 빅 데이터가 없으면 기계 학습에 다른 방법을 사용하는 것이 좋습니다. 주어진 이유는 과적 합입니다. 기계 학습 : 즉 데이터, 특징 추출, 수집 된 것으로부터 새로운 특징 만들기 등 상관 관계가 큰 …

15 regression machine-learning classification neural-networks deep-learning

2

시계열에 대한이 예측이 왜“꽤 열악”합니까?

신경망 사용법을 배우려고합니다. 이 튜토리얼 을 읽고있었습니다 . 의 값을 사용하여 t + 1 의 값을 예측 하여 시계열에 신경망을 피팅 한 후 저자는 다음 그림을 얻습니다. 여기서 파란색 선은 시계열, 녹색은 열차 데이터에 대한 예측, 빨간색은 테스트 데이터 예측 (테스트 기차 분할 사용)티티tt + 1티+1t+1 "모델이 훈련 데이터 세트와 …

15 time-series neural-networks predictive-models deep-learning prediction

3

심층 신경망에서 최소 레이어 수

다중 계층 신경망을 심층 신경망으로 분류하거나 다른 방법으로 '심층 신경망에서 최소 레이어 수는 얼마입니까?'

15 machine-learning neural-networks deep-learning terminology

1

(미니) 배치 그라디언트 괜찮은 그라디언트의 합 또는 평균?

미니 배치 그라디언트 괜찮은 것을 구현했을 때 훈련 배치의 모든 예제의 그라디언트를 평균화했습니다. 그러나, 이제는 최적의 학습 속도가 온라인 그래디언트보다 훨씬 높다는 것을 알았습니다. 내 직감은 평균 그라디언트가 덜 시끄럽기 때문에 더 빨리 따라갈 수 있기 때문입니다. 따라서 배치의 그라디언트를 요약하는 것만으로도 의미가 있습니다. 어쨌든 값은 양수와 음수 일 수 …

15 neural-networks gradient-descent backpropagation

4

컨볼 루션 신경망에 얼마나 많은 데이터가 필요합니까?

약 1,000,000 개의 매개 변수가있는 CNN (Convolutional Neural Network)을 사용하는 경우 얼마나 많은 훈련 데이터가 필요한지 (확률 적 경사 하강을 가정하고 있음)? 경험 법칙이 있습니까? 추가 사항 : 확률 적 그라디언트 디센트 (예 : 1 회 반복 64 패치)를 수행 할 때 ~ 10000 회 반복 후 분류기의 정확도는 대략 …

15 machine-learning neural-networks deep-learning conv-neural-network

1

단일 ReLU가 ReLU를 배울 수없는 이유는 무엇입니까?

내 신경망에 대한 후속 조치로 유클리드 거리를 알 수조차 없으므로 나는 더 단순화하고 단일 ReLU (임의의 무게로)를 단일 ReLU로 훈련하려고했습니다. 이것은 가장 간단한 네트워크이지만 수렴하지 못하는 시간의 절반입니다. 초기 추측이 목표와 같은 방향에 있다면, 빠르게 학습하고 올바른 가중치 1로 수렴합니다. 초기 추측이 "뒤로"이면, 가중치 0에 갇히고 더 낮은 손실 영역으로 …

15 machine-learning neural-networks optimization keras

2

신경망의 배치 학습 방법에서 가중치는 어떻게 업데이트됩니까?

일괄 처리 방법을 사용하여 신경망을 구축하는 방법을 알려주시겠습니까? 배치 모드에서 훈련 세트의 모든 샘플에 대해 네트워크의 각 뉴런에 대한 오류, 델타 및 델타 가중치를 계산 한 다음 즉시 가중치를 업데이트하는 대신 가중치를 누적 한 다음 시작하기 전에 다음 시대, 우리는 가중치를 업데이트합니다. 또한 배치 방법은 온라인 방법과 비슷하지만 차이점은 훈련 …

15 machine-learning neural-networks

1

ReLU 활성화 기능의 미분은 무엇입니까?

ReLU 활성화 기능의 미분은 무엇입니까? R의 전자 L U ( X ) = m X ( 0 , X )ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) 에서 함수에 불연속성이있는 특수한 경우는 어떻습니까?x = 0x=0x=0

15 self-study neural-networks

6

신경망을 훈련하면서 왜 데이터를 섞어 야합니까?

신경망의 미니 배치 훈련에서, 중요한 관행은 모든 시대 이전에 훈련 데이터를 섞는 것입니다. 각 시대의 셔플 링이 도움이되는 이유를 누군가가 설명 할 수 있습니까? Google 검색에서 다음 답변을 찾았습니다. 훈련이 빠르게 수렴하는 데 도움이됩니다. 훈련 중 편견을 방지합니다 모델이 훈련 순서를 배우지 못하게합니다. 그러나 임의의 셔플 링으로 인해 이러한 효과가 …

15 neural-networks

1

딥 러닝 용 Adam 최적화 프로그램에 바이어스 보정 용어를 포함시키는 것이 중요한 이유는 무엇입니까?

저는 Deep Learning 의 Adam 최적화 프로그램에 대해 읽었으며 Begnio, Goodfellow 및 Courtville 의 새 책 Deep Learning 에서 다음 문장을 보았습니다. Adam은 원점에서의 초기화를 설명하기 위해 1 차 모멘트 (모멘텀 항) 및 (비 중심) 2 차 모멘트의 추정치에 대한 바이어스 보정을 포함합니다. 이러한 바이어스 보정 항을 포함하는 주된 이유는 …

15 machine-learning neural-networks optimization conv-neural-network adam

1

차원 저주가 일부 모델보다 다른 모델에 영향을 줍니까?

치수 저주에 대해 읽은 장소는 주로 kNN 및 선형 모델과 관련하여 설명합니다. 나는 100k 데이터 포인트가 거의없는 데이터 세트의 수천 가지 기능을 사용하여 Kaggle에서 최고 순위를 정기적으로 봅니다. 그들은 주로 Boosted tree와 NN을 사용합니다. 많은 기능이 너무 높아 보이며 차원 저주의 영향을받는다고 생각합니다. 그러나 이러한 모델이 경쟁에서 최고가 되었기 때문에 …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

1

VC 차원은 딥 러닝에 대해 무엇을 알려줍니까?

기본 기계 학습에서는 다음과 같은 "엄지 손가락 규칙"을 배웁니다. a) 데이터의 크기는 가설 세트의 VC 차원 크기의 10 배 이상이어야합니다. b) N 개의 연결을 갖는 신경망은 약 N의 VC 치수를 갖는다. 따라서 딥 러닝 신경망이 수백만 단위라고 말하면 이것이 수십억 개의 데이터 포인트를 가져야한다는 의미입니까? 이것에 대해 좀 밝힐 수 …

15 machine-learning neural-networks deep-learning vc-dimension

2

편의를 넘어 신경망에서 컨볼 루션에 대한 수학적 이유가 있습니까?

컨볼 루션 신경망 (CNN) 에서 컨볼 루션을 진행하기 전에 각 단계 의 가중치 매트릭스 가 행과 열을 뒤집어 커널 매트릭스를 얻습니다. 이것은 휴고 라로 셸에 의해 비디오 시리즈에 설명되어 여기 : 숨겨진 맵을 계산하는 것은 커널 행렬 [...]을 사용하여 이전 레이어의 채널과 이산 컨볼 루션을 수행하는 것과 일치하며, 커널은 숨겨진 …

14 machine-learning neural-networks conv-neural-network convolution

«neural-networks» 태그된 질문