신경망에서 VC 치수를 계산하는 일반적인 공식을 찾는 동안 귀하의 게시물을 우연히 발견했지만 분명히 없습니다. 분명히 우리는 특정한 좁은 경우에만 적용되는 이질적인 VC 방정식의 호 지포지만을 가지고 있습니다. 주의 : 나는 지금 막 배우고있는 VC 치수의 개념을 거의 이해하지 못하는 오래된 연구에 근거하고 있습니다. 그럼에도 불구하고 Peter L. Bartlett과 Wolfgang Maass가이 논문 을 훑어 보는 것이 좋습니다. 1VC 치수의 계산 능력. 13 개의 정리에서 VC 공식을 도출하기 위해 어떻게 많은 시간을 들였는지, 각각에 대해 다양하고 필요한 조건이 무엇인지 주목하십시오. 이러한 전제 조건은 활성화 함수의 연산자 수에서 허용되는 점프 유형, 뉴런 수 및 위치, 입력의 비트 깊이 등입니다. 이 흩어진 "gotchas"가 너무 많아서 특정 좁은 클래스의 문제에 대해서만 수식을 유용하게 사용할 수 있습니다. 설상가상으로, 이론 5와 8에서 시그 모이 드 활성화 기능이 VC 수치를 계산하기가 특히 어렵다는 것을 지적합니다. 6-7 페이지에서 다음과 같이 씁니다.
"부분 별 다항식 활성화 함수를 사용하는 네트워크의 VC 차원은 잘 이해되고 있지만 대부분의 신경 네트워크 응용 프로그램은 로지스틱 시그 모이 드 함수 또는 가우시안 방사형 기저 함수를 사용합니다. 불행히도 유한 한 수의 함수를 사용하여 이러한 함수를 계산할 수는 없습니다. 정리 5에 나열된 산술 연산 그러나 Karpinski and Macintyre [Karpinski and Macintyre, 1997]는 지수 5의 계산을 허용하기 위해 정리 5를 확장했지만 증명은 동일한 아이디어를 사용하지만 방정식 시스템의 해의 수에는 한계가 있습니다. 훨씬 더 어렵다. "
또한 "신경망을위한 경계 VC 차원 : 진보와 전망"이라는 제목으로이 논문을 살펴 보았습니다. 2많은 수학이 머릿속에 있으며 번역 기술 부족을 극복하기에 충분히 길지 않았지만 Bartlett이라는 책의 두 번째 판보다 오래 되었기 때문에 지구를 산산조각내는 해결책을 제공하지 않는 것 같습니다. 같은 저자의 작품을 인용 한 Maass. 아마도 지난 20 년 동안의 연구는 신경망에 대한 VC 치수의 계산 능력을 향상 시켰지만, 내가 찾은 참고 문헌의 대부분은 90 년대 중반부터 시작된 것 같습니다. 그 당시에는 그 주제에 관한 일이 쏟아져 나 왔으며, 그 이후로 죽었다. 90 년대보다 훨씬 더 최근의 장학금으로 그 기능이 확장되지 않았다면, 누군가가 더 광범위하게 적용 할 수있는 솔루션을 내놓아 신경망에서도 VC 치수 계산을 시작할 수 있기를 바랍니다. 미안해
1 Bartlett, Peter L. and Maass, Wolfgang, 2003, "Vapnik-Chervonenkis 신경망 치수", pp. 1188-1192, 뇌 이론 및 신경망 핸드북, Arbib, Michael A. ed. MIT Press : 케임브리지, 매사추세츠.
2 Karpinski, Marek and Macintyre, Angus, 1995 년, "신경망을위한 경계 VC 차원 : 진보와 전망,"pp. 337–341, 스페인 바르셀로나, 전산 학습 이론에 관한 제 2 차 유럽 회의 진행. Vitanyi, P. ed. 인공 지능 강의 노트, 904. Springer : Berlin.