통계 및 빅 데이터 deep-learning

2

배치 정규화는 이동 평균을 사용하여 훈련 할 때 모델의 정확도를 추적하는 방법과 이유는 무엇입니까?

배치 정규화 (BN) 용지를 읽고 있었으며 (1) 모형의 정확성을 추적하기 위해 이동 평균을 사용해야하는 필요성을 이해하지 못했으며, 그것이 옳은 일임을 인정하더라도 이해가되지 않습니다. 그들이 정확히하고있는 일. 내 이해 (내 잘못)를 위해, 논문은 모델이 훈련을 마치면 미니 배치 통계보다는 인구 통계를 사용한다고 언급합니다. 편견없는 추정치에 대한 논의를 마치면 (나에게 중요한 것처럼 …

21 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

2

분산 스케일링 이니셜 라이저와 xavier 이니셜 라이저의 차이점은 무엇입니까?

Tensorflow의 ResNet 구현에서 분산 스케일링 이니셜 라이저를 사용하고 xavier 이니셜 라이저가 인기가 있음을 알았습니다. 나는 이것에 대한 경험이 많지 않아 실제로는 더 낫습니까?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

2

딥 러닝은 어디서 그리고 왜 빛을 발합니까?

요즘 모든 미디어가 딥 러닝에 대해 이야기하고 과대 광고를하면서 몇 가지 기본적인 내용을 읽었습니다. 방금 데이터에서 패턴을 배우는 것이 또 다른 기계 학습 방법이라는 것을 알았습니다. 그러나 내 질문은 :이 방법은 어디에서 왜 빛나는가? 왜 모든 얘기를 지금하는거야? 즉 소란은 무엇입니까?

20 machine-learning data-mining deep-learning deep-belief-networks

3

심층 신경망 훈련을 위해 조기 중지를 올바르게 사용하는 방법은 무엇입니까?

심층 신경망 모델이 있으며 약 100,000 개의 예제로 구성된 내 데이터 세트에서 훈련해야하며 유효성 검사 데이터에는 약 1000 개의 예제가 있습니다. 각 예제를 훈련하는 데 시간이 걸리고 (각 예제마다 약 0.5 초) 과적 합을 피하기 위해 불필요한 계산을 방지하기 위해 조기 중지를 적용하고 싶습니다. 그러나 조기 중지로 신경망을 올바르게 훈련시키는 …

20 neural-networks deep-learning

2

신경망에서 왜 다른 메타 휴리스틱보다 그라데이션 방법을 사용합니까?

깊고 얕은 신경망을 훈련 할 때 왜 다른 메타 휴리스틱 스와 달리 그래디언트 방법 (예 : 그래디언트 디센트, 네 스테 로프, 뉴턴-라프 슨)이 일반적으로 사용됩니까? 메타 휴리스틱 스 (metaheuristics) 란 로컬 소소한 상황에 빠지지 않도록 개발 된 시뮬레이션 어닐링, 개미 식민지 최적화 등과 같은 방법을 의미합니다.

20 neural-networks optimization deep-learning gradient-descent backpropagation

3

신경망에서 바이어스 노드의 중요성

바이어스 노드가 현대 신경 네트워크의 효과에 얼마나 중요한지 알고 싶습니다. 입력 변수가 적은 얕은 네트워크에서 중요 할 수 있음을 쉽게 이해할 수 있습니다. 그러나 딥 러닝과 같은 현대 신경망에는 종종 특정 뉴런이 트리거되는지 여부를 결정하기 위해 많은 입력 변수가 있습니다. 예를 들어 LeNet5 또는 ImageNet에서 단순히 제거하면 실제 영향이 있습니까?

19 neural-networks deep-learning bias-node

2

CNN에서 완전히 연결된 계층의 기능은 무엇입니까?

회선 및 풀링 계층을 이해하지만 CNN에서 완전히 연결된 계층의 이유를 알 수 없습니다. 이전 레이어가 출력 레이어에 직접 연결되지 않은 이유는 무엇입니까?

19 neural-networks deep-learning conv-neural-network

4

자동 인코더와 달리 가변형 자동 인코더를 언제 사용해야합니까?

나는 가변 자동 인코더와 일반 (결정적) 자동 인코더의 기본 구조와 그 뒤에있는 수학을 이해하지만 언제 어떤 유형의 자동 인코더를 다른 유형보다 선호합니까? 내가 생각할 수있는 것은 가변 오토 인코더의 잠복 변수의 사전 분포가 잠복 변수를 샘플링 한 다음 새로운 이미지를 구성 할 수 있다는 것입니다. 결정적 오토 인코더에 비해 가변 …

19 deep-learning autoencoders variational-bayes

5

'학습 학습'과 '도메인 적응'의 차이점은 무엇입니까?

'학습 학습'과 '도메인 적응'간에 차이가 있습니까? 나는 컨텍스트에 대해 잘 모르지만, 우리는 일부 데이터 세트 1을 가지고 그것을 훈련하고, 그 후에 우리는 처음부터 다시 학습하지 않고 모델을 적응시키고 싶어하는 또 다른 데이터 세트 2를 가지고 있습니다. '도메인 적응'은이 문제를 해결하는 데 도움이됩니다. Convolutional Neural Networks 분야에 따르면 : '학습 학습'이란 …

19 deep-learning terminology conv-neural-network transfer-learning domain-adaptation

2

컨볼 루션 신경망에서 최대 풀링이 필요한 이유는 무엇입니까?

가장 일반적인 컨볼 루션 신경망에는 출력 기능의 크기를 줄이기 위해 풀링 레이어가 포함되어 있습니다. 왜 단순히 컨볼 루션 레이어의 보폭을 증가 시켜서 같은 것을 달성 할 수 없었습니까? 풀링 레이어가 필요한 이유는 무엇입니까?

18 deep-learning conv-neural-network pooling

3

신경망의 상징적 (장난감) 모델

대학원생과 노블 상 수상자 인 Feynman의 물리학 교수들은 항상 고조파 발진기, 진자, 회전하는 상단 및 블랙 박스와 같은 물리학의 기본 개념과 방법을 설명하기 위해 장난감 모델이라고 부르는 것을 항상 제시했습니다. 신경망 적용의 기본 개념과 방법을 설명하기 위해 어떤 장난감 모델이 사용됩니까? (참고하시기 바랍니다.) 장난감 모델이란 기본 방법을 제시 할 수있는 …

18 machine-learning neural-networks deep-learning

2

딥 러닝 및 의사 결정 트리 및 부스팅 방법

나는 경험적으로나 이론적으로 비교하고 토론하는 논문이나 텍스트를 찾고 있습니다. Random Forests 또는 AdaBoost 및 GentleBoost 와 같은 Boosting and Decision tree 알고리즘 은 의사 결정 트리에 적용됩니다. 와 같은 깊은 학습 방법 제한 볼츠만 기계 , 계층 임시 메모리 , 길쌈 신경망 등, 보다 구체적으로, 속도, 정확성 또는 수렴 측면에서이 …

18 machine-learning deep-learning cart rbm adaboost

2

딥 러닝에 줄 검색 방법이 사용됩니까? 왜 안돼?

온라인 많은 자습서에서 그라디언트 디센트에 대해 이야기하고 거의 모든 단계가 고정 단계 크기 (학습 속도 )를 사용합니다. 역 검색 (예 : 역 추적 라인 검색 또는 정확한 라인 검색)을 사용하지 않는 이유는 무엇 입니까?αα\alpha

18 machine-learning neural-networks optimization deep-learning

2

미니 배치 훈련 신경망을 위해 무작위로 추출 된 훈련 샘플을 교체없이 추출해야합니까?

우리는 에포크가 사용 가능한 모든 훈련 샘플 전체를 통과 한 것으로 정의하고, 미니 배치 크기는 그라디언트를 내리는 데 필요한 가중치 / 바이어스에 대한 업데이트를 평균화하는 평균 샘플 수로 정의합니다. 내 질문은 에포크 내에서 각 미니 배치를 생성하기 위해 일련의 교육 예제를 대체하지 않고 끌어 야하는지 여부입니다. 실제로 에포크 종료 요구 …

18 machine-learning neural-networks optimization deep-learning

4

CNN, 커널 및 스케일 / 회전 불변성 정보

CNN과 관련하여 혼란스러워하는 몇 가지 질문이 있습니다. 1) CNN을 사용하여 추출한 기능은 스케일과 회전이 변하지 않습니까? 2) 데이터와의 컨볼 루션에 사용하는 커널은 이미 문헌에 정의되어 있습니까? 이 커널들은 어떤 종류입니까? 응용 프로그램마다 다릅니 까?

18 neural-networks deep-learning conv-neural-network

«deep-learning» 태그된 질문