백프로 프 동안 CNN의 필터 중량을 변경하지 않는 효과


10

역 전파 동안 CNN의 필터 가중치를 변경하지 않으면 어떤 효과가 있습니까? MNIST 데이터 세트를 학습하는 동안 완전히 연결된 레이어 가중치 만 변경했지만 여전히 99 %의 정확도를 달성했습니다.


흥미롭게도 임의 가중치로 시작했거나 이전 네트워크의 가중치를 사용 했습니까? 또한 훈련 세트 또는 홀드 아웃 테스트 세트에서 정확도를 측정합니까?
Neil Slater

@ Neil Slater : 무작위 가우스 무게로 시작했습니다. 정확도 측정은 테스트 세트에 있습니다.
Abhisek Dash

@Nail Slater : 필터를 초기화해도 정확도는 거의 동일합니다. 나는 2 개의 컨벌루션과 최대 풀 레이어와 256 개의 숨겨진 뉴런이있는 FC 레이어를 사용했습니다
Abhisek Dash

답변:


12

CNN의 컨볼 루션 레이어의 가중치를 변경하지 않으면 분류기 (완전히 연결된 레이어) 임의 기능 (즉 , 분류 작업을위한 최적의 기능이 아님 )을 기본적으로 공급하게됩니다 .

MNIST는 것입니다 쉽게 당신이 거의 모든 기능을 추출하지 않고 분류기에 입력 픽셀을 공급할 수있을만큼 이미지 분류 작업과 여전히 높은 90 년대 점수 것입니다. 그 외에도 풀링 레이어가 약간 도움이 될 것입니다 ...

입력 이미지에서 MLP (Conv / Pool 레이어 제외)를 훈련하고 순위가 매겨지는 방법을 확인하십시오. 다음 은 전처리 / 기능 추출없이 MLP (1 은폐 및 1 출력 레이어)가 98 + %에 도달 한 예입니다.


편집하다:

또한 내가 쓴 또 다른 답변 을 지적하고 싶습니다 .이 이미지는 MNIST가 이미지 분류 작업만큼 쉬운 이유에 대해 자세히 설명합니다 .

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.