신경망의 복잡성을 측정하기위한 VC 차원의 대안은 무엇입니까?

신경망의 복잡성을 측정하는 몇 가지 기본 방법을 살펴 보았습니다.

순진하고 비공식적 : 뉴런, 숨겨진 뉴런, 레이어 또는 숨겨진 레이어의 수를 계산합니다.
VC 차원 (Eduardo D. Sontag [1998] "신경망의 VC 차원"[ pdf ].)
와 등가에 의한 $TC^0_d$ 코스 그레인 및 점근 적 계산 복잡도 측정 .

다른 대안이 있습니까?

바람직하다 :

복잡성 메트릭을 사용하여 동일한 규모로 서로 다른 패러다임에서 신경망을 측정 할 수 있다면 (백프로 프, 역학 신경망, 캐스케이드 상관 관계 등). 예를 들어, VC 차원은 네트워크 (또는 신경망 이외의 것)에서 다른 유형에 사용될 수 있지만 뉴런의 수는 활성화 기능, 신호 (기본 합계 대 스파이크) 및 기타가있는 매우 특정한 모델 사이에서만 유용합니다. 네트워크의 속성은 동일합니다.
네트워크가 학습 할 수있는 기능의 복잡성에 대한 표준 척도와 잘 일치하는 경우
특정 네트워크에서 메트릭을 쉽게 계산할 수있는 경우 (마지막은 아닙니다.)

노트

이 질문은 CogSci.SE에 대한 일반적인 질문 을 바탕으로합니다.

— 아르 템 카즈 나체 예프
소스

복잡성이 학습 알고리즘에 의존해서는 안됩니까? VC 치수는 일반적으로 볼록 손실 함수가있는 방법에 적용됩니다. 볼록하지 않은 손실이있는 경우 모델이 일부 점을 분리 할 수 있지만 학습 알고리즘에서이 솔루션을 찾지 못하는 상황에 처할 수 있습니다. 따라서 나는 네트워크의 구조를 사용하여 경계를 갖는 것이 매우 어렵다고 생각합니다. 나는 @tdc에 일반화 오류가 갈 길이라는 데 동의합니다. 통계 학습 이론에 관한 Vapnik의 논문은 그것에 대해 배우기 시작하기에 좋은 장소 일 수 있습니다.

— Andreas Mueller 2012

답변:

John Langford & Rich Caruana (NIPS, 2001)의 "(Not) Bounding the True Error"논문을보고 싶을 것이다.

추상 상태 :

우리는 PAC-Bayes 경계를 기반으로 연속 값 분류기의 실제 오류율을 제한하는 새로운 접근법을 제시합니다. 이 방법은 먼저 모델의 각 매개 변수가 노이즈에 얼마나 민감한 지 결정하여 분류기에 대한 분포를 구성합니다. 민감도 분석에서 찾은 확률 분류기의 실제 오류율은 PAC-Bayes 경계를 사용하여 밀접하게 제한 될 수 있습니다. 이 논문에서 우리는 인공 신경망에서의 방법을 결정 론적 신경망과 비교하여 2 3 배 정도의 향상을 보여 주었다.

그들은 PAC-Bayes 스타일 범위를 확률 신경 네트워크에 적용 할 수 있음을 보여줍니다. 그러나 분석은 S 자형 전달 함수가있는 2 계층 피드 포워드 신경망에만 적용됩니다. 이 경우 복잡성 항은 노드 수와 가중치의 분산에만 의존합니다. 그들은이 설정에 대해 과도 훈련이 언제 발생할지 효과적으로 예측합니다. 불행히도 그것은 당신의 "선호"속성에 전혀 영향을 미치지 않습니다!

— tdc
소스

멋져 보이는 +1-고맙습니다. 살펴 보겠습니다. 그러나 나는 그것이 선호하는 속성에 맞지 않으며 처음에는 네트워크의 성능만큼이나 실제로 복잡성을 측정하지 않는 것 같습니다 ...하지만 그것들은 분리 할 수 없다고 생각합니다.

— Artem Kaznatcheev

보고있는 것은 Generalization Error 입니다. 생성 된 경계에는 일반적으로 훈련 오류를 기반으로하는 항과 모형의 복잡성을 기반으로하는 페널티 항이 있습니다. 당신이 관심을 갖는 것은 복잡성 용어이지만, 거의 모든 범위에서 성분이 될 것입니다. 이 비디오 는 내가 할 수있는 것보다 더 잘 설명합니다!

— tdc

이 방향이 올바르지 않다고 생각하십시오. 오류는 네트워크 복잡성과 크게 다릅니다. 기존 이론이 둘을 흐리게 할 수 있지만. 간단한 예는 오차는 작지만 복잡도는 높은 곳에 적합합니다. 또한 오류는 복잡성에 반 직관적 인 방식으로 작동 할 수 있습니다. 편견과 같은. 소규모 네트워크에서 오류를 과소 평가하는 것처럼 보입니다. etcetera

@vzn이지만 일반화 오류는 향후 데이터의 오류입니다. 즉, 교육 오류가 적고 복잡성이 높은 경우 오류 범위가 느슨해집니다.

— tdc

또한 Peter Bartlett 교수가 수행 한 획기적인 차원의 작업에 관심이있을 수도 있습니다. 다음은 1998 년 IEEE 논문에서 신경망 복잡성 분석에 대한 소개입니다. 신경망과 패턴 분류의 샘플 복잡성 : 가중치의 크기는 네트워크의 크기보다 중요합니다 (Bartlett 1998) [ http : //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

— 숀 싱
소스