신경망의 VC 치수를 효율적으로 계산하거나 근사화

내 목표는 입력 및 출력으로 설명 한 다음 문제를 해결하는 것입니다.

입력:

방향성 비순환 그래프 (directed acyclic graph) 와 노드 소스 및 싱크 ( ).$G$$m$$n$$1$$m > n \geq 1$

산출:

VC 차원 토폴로지 뉴럴 네트워크 (또는 그 근사치) .$G$

자세한 내용 :

• 각 노드 는 S 자형 뉴런입니다. 토폴로지는 고정되어 있지만 가장자리의 가중치는 학습 알고리즘에 따라 달라질 수 있습니다.$G$
• 학습 알고리즘은 고정되어 있습니다 (예 : 역 전파).
• 소스 노드는 입력 뉴런 있습니다 만에서 문자열을 취할 수 \ {- 1,1 \} ^ n 개의 입력으로.$n$$\{-1,1\}^n$
• 싱크 노드는 출력 장치입니다. [-1,1] 에서 실제 고정 값을 출력합니다 . 0 에서 특정 고정 임계 값 \ delta 이상인 경우 1로$[-1,1]$ 올림 하거나 -1 로 내림합니다 .$1$$-1$$\delta$$0$

순진한 접근 방식은 단순히 네트워크를 훈련 시켜서 점점 더 많은 포인트를 깨는 것입니다. 그러나 이런 종류의 시뮬레이션 방법은 효율적이지 않습니다.

질문

이 함수를 계산 하는 효율적인 방법이 있습니까 (즉 , 결정 문제로 변경 될 때 $\mathsf{P}$ : VC 차원이 입력 매개 변수 k 보다 작 $k$습니까?)? 그렇지 않은 경우 경도 결과가 있습니까?

이 함수를 계산하거나 근사하는 실습 방식이 있습니까? 근사치 인 경우 정확도에 대한 보증이 있습니까?

노트

stats.SE에 대해 비슷한 질문 을했지만 관심이 없었습니다.

네트워크를 계층화하여 문제를 더 제한하려는 경우 Tom Mitchell의 "Machine Learning"은 ( ) 의 상한을 제공합니다 (섹션 7.4.4). 여기서 는 내부 노드의 수입니다. (2보다 커야 함) 는 개별 노드의 VC 차원이며 는 자연 로그의 밑입니다. 당신이 훈련 예제의 수에 묶여 있다면이 정보가 충분해야합니다.$2ds \log(es)$$s$$d$$e$

그것은 귀하의 질문에 대한 대답은 아니지만, 도움이 될 수 있습니다. 결과는 Baum and Haussler (1989) 때문입니다.