컨볼 루션 레이어의 여러 필터가 훈련 중에 동일한 매개 변수를 배우지 않습니까?


11

내가 배운 내용을 바탕으로 CNN의 Conv Layer에서 여러 필터를 사용하여 다양한 기능 탐지기를 학습합니다. 그러나 이러한 필터는 비슷하게 적용되므로 (즉, 입력 영역에 슬라이드 및 곱하기) 훈련 중에 동일한 매개 변수를 배우지 않습니까? 따라서 여러 필터를 사용하는 것이 중복됩니까?

답변:


6

이 사실을 이해하는데도 똑같은 혼란이있었습니다. 이 책에서는 필터가 다르다고 언급하지 않기 때문에 초보자에게 혼란이 생깁니다.

이 필터들은 비슷하게 적용되기 때문에

필터는 비슷하게 적용되지만 행렬의 셀 값은 서로 다른 필터와 다릅니다. 따라서 이미지에서 다른 기능을 추출합니다.

그들은 훈련 중에 같은 매개 변수를 배우지 않을 것입니다

아니요, 필터가 다르기 때문에 동일한 매개 변수를 배우지 않습니다. 따라서 다중 필터 사용은 중복되지 않습니다.


답변 주셔서 감사합니다. 정확히 다른 점은 무엇입니까? 훈련 중에 다른 매개 변수를 배우도록 어떻게 보장합니까? 초기 값입니까?
cjbayron

1
각 셀의 다른 값은 서로 다릅니다. 일부는 기울어 진 선을 감지하는 것처럼 일부는 45도 곡선을 감지합니다. 따라서 모두 다릅니다.
ironman

1
예, 다른 값으로 필터가 다른 기능을 감지한다는 것을 알고 있습니다. 그러나 훈련하는 동안 이러한 필터는 어떻게 다르게 학습합니까?
cjbayron

3
필터가 모두 동일하게 시작되면 그대로 유지됩니다. 무작위 초기화는 시작이 다르고 거기서부터 다른 것을 배우는 것을 의미합니다. 자세한 내용은 신경망에서 대칭을 찾아보십시오.
Aaron

4

이 질문에 대한 답변을 찾았습니다 : https://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network

"... (최적화) 알고리즘은 두 필터의 가중치와 바이어스가 비슷한 경우 손실이 감소하지 않는다는 것을 알게되므로 결국 손실을 줄이기 위해 필터 중 하나의 가중치와 바이어스를 변경합니다 새로운 기능을 배우고 있습니다. "

답변 주셔서 감사합니다. 감사합니다 :)

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.