신경망의 배치 학습 방법에서 가중치는 어떻게 업데이트됩니까?

15

일괄 처리 방법을 사용하여 신경망을 구축하는 방법을 알려주시겠습니까?

배치 모드에서 훈련 세트의 모든 샘플에 대해 네트워크의 각 뉴런에 대한 오류, 델타 및 델타 가중치를 계산 한 다음 즉시 가중치를 업데이트하는 대신 가중치를 누적 한 다음 시작하기 전에 다음 시대, 우리는 가중치를 업데이트합니다.

또한 배치 방법은 온라인 방법과 비슷하지만 차이점은 훈련 세트의 모든 샘플에 대한 오류를 합한 다음 평균을 취한 다음 가중치를 업데이트하는 데 사용하는 것입니다. 하나는 온라인 방법에서 다음과 같습니다 (차이는 평균입니다).

for epoch=1 to numberOfEpochs

   for all i samples in training set

         calculate the errors in output layer
         SumOfErrors += (d[i] - y[i])
   end

   errorAvg = SumOfErrors / number of Samples in training set

   now update the output layer with this error
   update all other previous layers

   go to the next epoch

end

다음 중 실제로 올바른 형식의 배치 방법은 무엇입니까?
첫 번째의 경우, 모든 델타 가중치를 누적하지 않으면 많은 수가 발생합니까?

machine-learning neural-networks

— 리카
소스

1

"올바른"방법은 상황에 따라 다릅니다. 많은 경우에, 에포크 당 한 번만 가중치를 업데이트하는 것은 확률 적 업데이트보다 훨씬 더 느리게 수렴됩니다 (각 예제 후 가중치 업데이트). 나는 일반적으로 어떤 형태의 배치 업데이트를 사용하고 싶지만 에포크 당 1x보다 훨씬 더 많은 합의가 있음을 덧붙일 것입니다.

— Tahlor

9

평균 또는 합계를 사용하는 것은 동일한 업데이트를 생성하는 학습 속도 쌍이 존재한다는 점에서 동일합니다.

이를 확인하려면 먼저 업데이트 규칙을 다시 호출하십시오.

Δ w_{i j} = - α \frac{\partial E}{\partial w_{i j}}

$\Delta w_{ij} = -\alpha \frac{\partial E}{\partial w_{ij}}$

그런 다음 에포크에 걸쳐 크기 의 데이터 세트에 대한 평균 오류를 로 설정하십시오 . 오차의 합은 이며, 은 의존하지 않기 때문에 다음 과 같이 유지됩니다. $\mu_E$ $n$ $n\mu_E$ $n$ $w$

Δ w_{i j} = - α \frac{\partial (n μ)}{\partial w_{i j}} = - α n \frac{\partial μ}{\partial w_{i j}}

$\Delta w_{ij} = -\alpha \frac{\partial (n\mu)}{\partial w_{ij}}= -\alpha n\frac{\partial \mu}{\partial w_{ij}}$

두 번째 질문으로, "델타 가중치 누적"이라는 구절은 이러한 방법 중 하나가 가중치 업데이트를 유지함을 의미합니다. 그렇지 않다 : 배치 학습은 에러를 축적한다 . 주어진 에포크 에는 하나의 단일 벡터 만 있습니다 . (의사 코드 코드 는 가중치 업데이트 단계를 생략하고 그 후에 버릴 수 있습니다 .) $\Delta w$ $\Delta w$

— 숀 이스터
소스

1

미니 배치 그라디언트 디센트는 동일한 배치 그라디언트 디센트입니까? 나는 여기에서 길을 잃었다! 그렇지 않다면 차이점은 무엇입니까? 내가 틀렸다면 배치 모드에서 전체 데이터 세트를 배치로 읽고 그라디언트를 계산해야하며 모든 것을 읽을 때 평균을 얻은 다음 매개 변수가 업데이트되는 동안 미니 배치에서 각각 배치를 읽고 그라디언트를 계산 한 다음 매개 변수를 업데이트 한 다음 하나의 에포크가 끝날 때까지 다음 미니 배치를 읽습니다.

— Rika

1

그것은 일반적으로 주어진 정의입니다 : 한 번에 하나의 훈련 데이터 서브셋을 사용하여 파라미터를 업데이트하십시오. (배치가 시대에 통과되지 않습니다 즉, 미니 배치는 무작위로 수렴 될 때까지 샘플링되는 몇 가지 방법이 있습니다.) 있는지 확인 이 도움이됩니다.

— Sean Easter

0

두 답변은 동일합니다. 나는 개인적으로 그것을 합계 대신 평균 오류로 생각할 것입니다. 그러나 그래디언트 디센트에는 학습률이라는 매개 변수가 있으며 오류 그래디언트의 일부만 빼야합니다. 따라서 학습률을 변경하여 오류가 평균의 총합으로 정의되는지 여부를 보상 할 수 있습니다.

— limlimaverford
소스

고맙지 만, 실제로 동일하다면 왜 단순한 변수 일 뿐인 오류 만 합칠 수있을 때 각 패턴에 대한 누적 업데이트를 유지하는 데 많은 메모리를 낭비하는 이유는 무엇입니까?

— Rika