그래디언트 디센트와 역 전파 알고리즘을 알고 있습니다. 내가 얻지 못하는 것은 언제 바이어스를 사용하는 것이 중요하며 어떻게 사용합니까? 예를 들어 AND함수를 매핑 할 때 2 개의 입력과 1 개의 출력을 사용할 때 올바른 가중치를 제공하지 않지만 3 개의 입력 (1 중 하나는 바이어스 임)을 사용할 때 올바른 가중치를 부여합니다.
Haskell에서 신경망 아키텍처를 구현하고 MNIST에서 사용하려고합니다. hmatrix선형 대수 패키지를 사용하고 있습니다. 내 교육 프레임 워크는 pipes패키지를 사용하여 빌드 됩니다. 내 코드가 컴파일되고 충돌하지 않습니다. 그러나 문제는 레이어 크기 (예 : 1000), 미니 배치 크기 및 학습률의 특정 조합 NaN이 계산 값을 생성한다는 것입니다. 몇 가지 검사 후 극히 작은 값 …