신경망에서 배치 크기는 무엇입니까?

Python Keras package신경망에 사용 하고 있습니다. 이것은 링크 입니다. IS는 batch_size테스트 샘플의 수와 같다? Wikipedia에서 우리는 다음 정보를 가지고 있습니다 :

그러나, 다른 경우에, 합-그라디언트를 평가하기 위해서는 모든 서 맨드 함수로부터의 구배에 대한 고가의 평가가 필요할 수있다. 트레이닝 세트가 거대하고 간단한 공식이 존재하지 않으면, 그라디언트를 평가하는 것은 모든 summand 함수의 그라디언트를 평가해야하기 때문에 그라디언트의 합계를 평가하는 것은 매우 비싸게됩니다. 모든 반복에서 계산 비용을 절약하기 위해 확률 적 경사 하강은 모든 단계에서 요약 함수의 하위 집합을 샘플링합니다. 이는 대규모 기계 학습 문제의 경우 매우 효과적입니다.

위의 정보는 테스트 데이터를 설명하고 있습니까? 이것은 batch_sizekeras (그라디언트 업데이트 당 샘플 수) 와 동일 합니까?

배치 크기는 네트워크를 통해 전파됩니다 샘플의 수를 정의합니다.

예를 들어, 1050 개의 학습 샘플이 있고 batch_size100과 동일하게 설정하려고한다고 가정 해 봅시다 . 알고리즘은 교육 데이터 세트에서 처음 100 개의 샘플 (1에서 100까지)을 가져 와서 네트워크를 학습시킵니다. 다음으로, 두 번째 100 개의 샘플 (101 ~ 200)을 가져 와서 네트워크를 다시 훈련시킵니다. 네트워크를 통해 모든 샘플을 전파 할 때까지이 절차를 계속 수행 할 수 있습니다. 마지막 샘플 세트에서 문제가 발생할 수 있습니다. 이 예에서는 나머지없이 100으로 나눌 수없는 1050을 사용했습니다. 가장 간단한 해결책은 최종 50 개의 샘플을 얻고 네트워크를 훈련시키는 것입니다.

배치 크기 <모든 샘플 수의 장점 :

• 적은 메모리가 필요합니다. 적은 수의 샘플을 사용하여 네트워크를 훈련 시키므로 전체적인 훈련 절차에는 적은 메모리가 필요합니다. 머신의 메모리에 전체 데이터 셋을 맞출 수없는 경우 특히 중요합니다.

• 일반적으로 네트워크는 미니 배치로 더 빠르게 훈련됩니다. 각 전파 후 가중치를 업데이트하기 때문입니다. 이 예에서는 11 개 배치 (10 개 샘플에 100 개, 1 개에 50 개 샘플)를 전파했으며 각 배치 후에 네트워크 매개 변수를 업데이트했습니다. 전파하는 동안 모든 샘플을 사용한 경우 네트워크 매개 변수를 한 번만 업데이트합니다.

배치 크기를 사용하는 단점 <모든 샘플 수 :

• 배치가 작을수록 그래디언트 추정의 정확도가 떨어집니다. 아래 그림에서 미니 배치 그라디언트 방향 (녹색)이 전체 배치 그라디언트 방향 (파란색)과 비교할 때 훨씬 더 많이 변동되는 것을 볼 수 있습니다.

스토캐스틱은 batch_size1 과 동일한 미니 배치입니다 .이 경우 그라디언트는 미니 배치 그라디언트보다 방향이 훨씬 자주 변경됩니다.

신경망 용어에서 :

• 하나의 에포크 (epoch) = 모든 트레이닝 예제 의 하나의 정방향 패스와 하나의 역방향 패스
• 배치 크기 = 하나의 정방향 / 역방향 패스에서 훈련 예의 수. 배치 크기가 높을수록 더 많은 메모리 공간이 필요합니다.
• 다수의 반복을 뚫고 번호 = 예 [배치 크기] 번호를 사용하여 각 패스. 명확하게하기 위해, 1 패스 = 1 패스 + 1 패스 (포워드 패스와 역방향 패스는 2 개의 다른 패스로 계산하지 않습니다).

예 : 훈련 예제가 1000 개이고 배치 크기가 500 인 경우 1 에포크를 완료하는 데 2 ​​회 반복해야합니다.

참고로 : 신경망을 훈련시키기위한 트레이드 오프 배치 크기와 반복 횟수

CPU로 최적화 문제를 해결할 때 일부 입력 데이터에 대해 알고리즘을 반복적으로 적용합니다. 이러한 각 반복에서 일반적으로 데이터에 대한 일부 계산을 수행하여 문제의 지표를 업데이트합니다. 이제 데이터 크기가 크면 모든 반복을 완료하는 데 상당한 시간이 필요할 수 있으며 많은 리소스가 소비 될 수 있습니다. 따라서 때때로 시간과 계산 리소스를 절약하기 위해 데이터의 일부에 이러한 반복 계산을 적용하도록 선택할 수 있습니다. 이 부분은 batch_size이며 프로세스는 (Neural Network Lingo에서) 배치 데이터 처리라고합니다. 모든 데이터에 계산을 적용하면 온라인 데이터 처리가 수행됩니다. 나는 그 용어가 60 년대, 그리고 심지어 이전부터 왔다고 생각한다. 누구나 기억합니다. 박쥐 DOS 파일? 그러나 물론 개념은 사용되는 데이터의 스레드 또는 부분을 의미하기 위해 구체화되었습니다.

Keras배치 크기 에 대한 문서 fit는 모델 (기능 API) 페이지 의 함수에서 찾을 수 있습니다 .

batch_size: 정수 또는 없음. 그라디언트 업데이트 당 샘플 수입니다. 지정하지 않으면 batch_size는 기본적으로 32입니다.

작은 데이터 집합이있는 경우 배치 크기를 훈련 데이터 크기와 동일하게 만드는 것이 가장 좋습니다. 먼저 작은 배치로 시도한 다음 시간을 절약하기 위해 늘리십시오. 으로 itdxer가 언급 정확성과 속도 사이에 상충 관계가있다.