«batch-normalization» 태그된 질문

배치 정규화 (BN) 용지를 읽고 있었으며 (1) 모형의 정확성을 추적하기 위해 이동 평균을 사용해야하는 필요성을 이해하지 못했으며, 그것이 옳은 일임을 인정하더라도 이해가되지 않습니다. 그들이 정확히하고있는 일. 내 이해 (내 잘못)를 위해, 논문은 모델이 훈련을 마치면 미니 배치 통계보다는 인구 통계를 사용한다고 언급합니다. 편견없는 추정치에 대한 논의를 마치면 (나에게 중요한 것처럼 …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

내가 이해하는 한 배치 규범은 모든 입력 기능을 레이어의 정규 분포로 정규화합니다. 엔( μ = 0 , σ= 1 )엔(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1). 평균 및 분산 는 현재 미니 배치에 대한 값을 측정하여 추정됩니다.μ ,σ2μ,σ2\mu, \sigma^2 정규화 후 입력은 스칼라 값으로 스케일링되고 이동됩니다. 엑스^'나는= γ엑스^나는+ β엑스^나는'=γ엑스^나는+β\hat{x}_i' = \gamma \hat{x}_i + \beta (여기서 내가 …

13 batch-normalization 

배치 정규화 는 심층 신경망에서 상당한 성능 향상으로 인정되었습니다. 인터넷에 많은 자료가 활성화별로이를 구현하는 방법을 보여줍니다. 나는 이미 행렬 대수를 사용하여 backprop를 구현했으며, 고밀도 언어 ( Rcpp고밀도 행렬 곱셈 에 (그리고 결국 GPU)에 의존하는 동안 )에서 모든 것을 추출하고 for-loops를 사용하면 코드가 느려질 것입니다 대단한 고통에 더해 배치 정규화 함수는 …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization