«batch-normalization» 태그된 질문

2
배치 정규화는 이동 평균을 사용하여 훈련 할 때 모델의 정확도를 추적하는 방법과 이유는 무엇입니까?
배치 정규화 (BN) 용지를 읽고 있었으며 (1) 모형의 정확성을 추적하기 위해 이동 평균을 사용해야하는 필요성을 이해하지 못했으며, 그것이 옳은 일임을 인정하더라도 이해가되지 않습니다. 그들이 정확히하고있는 일. 내 이해 (내 잘못)를 위해, 논문은 모델이 훈련을 마치면 미니 배치 통계보다는 인구 통계를 사용한다고 언급합니다. 편견없는 추정치에 대한 논의를 마치면 (나에게 중요한 것처럼 …

1
배치 규범에 학습 가능한 규모와 변화가있는 이유는 무엇입니까?
내가 이해하는 한 배치 규범은 모든 입력 기능을 레이어의 정규 분포로 정규화합니다. 엔( μ = 0 , σ= 1 )엔(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1). 평균 및 분산 는 현재 미니 배치에 대한 값을 측정하여 추정됩니다.μ ,σ2μ,σ2\mu, \sigma^2 정규화 후 입력은 스칼라 값으로 스케일링되고 이동됩니다. 엑스^'나는= γ엑스^나는+ β엑스^나는'=γ엑스^나는+β\hat{x}_i' = \gamma \hat{x}_i + \beta (여기서 내가 …

1
배치 정규화를 통한 역 전파의 매트릭스 형태
배치 정규화 는 심층 신경망에서 상당한 성능 향상으로 인정되었습니다. 인터넷에 많은 자료가 활성화별로이를 구현하는 방법을 보여줍니다. 나는 이미 행렬 대수를 사용하여 backprop를 구현했으며, 고밀도 언어 ( Rcpp고밀도 행렬 곱셈 에 (그리고 결국 GPU)에 의존하는 동안 )에서 모든 것을 추출하고 for-loops를 사용하면 코드가 느려질 것입니다 대단한 고통에 더해 배치 정규화 함수는 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.