CNN 교육에서 어느 계층이 더 많은 시간을 소비합니까? 컨볼 루션 레이어 및 FC 레이어

Convolutional Neural Network에서 어떤 레이어가 훈련에 최대 시간을 소비합니까? 컨볼 루션 레이어 또는 완전 연결된 레이어? 이를 이해하기 위해 AlexNet 아키텍처를 사용할 수 있습니다. 나는 훈련 과정의 시간 붕괴를보고 싶다. 일정한 GPU 구성을 취할 수 있도록 상대적 시간 비교를 원합니다.

참고 : 이 계산을 추측 적으로 수행 했으므로 일부 오류가 발생했을 수 있습니다. 수정할 수 있도록 이러한 오류를 알려주십시오.

일반적으로 모든 CNN에서 최대 교육 시간은 완전 연결된 계층에서 오류의 역 전파에 발생합니다 (이미지 크기에 따라 다름). 또한 최대 메모리도 차지합니다. 다음은 VGG Net 매개 변수에 대한 Stanford의 슬라이드입니다.

분명히 완전히 연결된 레이어가 매개 변수의 약 90 %에 기여한다는 것을 알 수 있습니다. 따라서 최대 메모리가 차지합니다.

$(3*3*3)$$(3*3*3)$$224*224$$224*224*(3*3*3)$$64$$224*224$$64*224*224*(3*3*3) \approx 87*10^6$

$56*56*256$$56*56$$(3*3*256)$$56*56$$256 * 56 * 56 * (3*3*256) \approx 1850 *10^6$

$stride = 1$

$channels_{output} * (pixelOutput_{height} * pixelOutput_{width}) * (filter_{height} * filter_{width} * channels_{input})$

빠른 GPU 덕분에 이러한 거대한 계산을 쉽게 처리 할 수 ​​있습니다. 그러나 FC 레이어에는 전체 매트릭스를로드해야하는데, 이는 일반적으로 컨볼 루션 레이어의 경우가 아닌 메모리 문제를 유발하므로 컨벌루션 레이어의 교육은 여전히 ​​쉽습니다. 또한 이것들은 모두 CPU의 RAM이 아닌 GPU 메모리 자체에로드되어야합니다.

AlexNet의 매개 변수 차트는 다음과 같습니다.

다음은 다양한 CNN 아키텍처의 성능 비교입니다.

CNN 아키텍처의 구석 구석에 대한 이해를 높이기 위해 Stanford University 의 CS231n Lecture 9 를 확인하십시오 .

CNN은 컨볼 루션 연산을 포함하지만 DNN은 훈련을 위해 건설적 분기를 사용합니다. CNN은 Big O 표기법이 더 복잡합니다.

참고로 :

1) CNN 시간 복잡성
https://arxiv.org/pdf/1412.1710.pdf

2) 완전히 연결된 레이어 / DNN (Deep Neural Network) / MLP (Multi Layer Perceptron) https://www.researchgate.net/post/What_is_the_time_complexity_of_Multilayer_Perceptron_MLP_and_other_neural_networks