회귀 모형의 VC 차원

강의 시리즈 Learning from Data 에서 교수는 VC 차원이 주어진 모델이 산산이 부서 질 수있는 지점의 모델 복잡성을 측정한다고 언급합니다. 따라서 분류 기가 k 점을 효과적으로 산산조각 할 수있는 경우 N 점 중 VC 차원 측정 값이 K가 될 수있는 분류 모델에 완벽하게 작동합니다. 그러나 회귀 모형에 대한 VC 차원을 측정하는 방법이 명확하지 않았습니다. ?

regression machine-learning vc-dimension

— 카르 틱크 바라와 즈
소스

참조 cs.stackexchange.com/questions/11548/... ncbi.nlm.nih.gov/pubmed/18252610

— 할보 르센 kjetil B

답변:

에서 통계 학습의 요소 , 페이지. 238 :

지금까지 인디케이터 함수의 VC 차원에 대해서만 논의했지만 실제 함수로 확장 할 수 있습니다. 실수 함수 클래스 의 VC 차원은 인디케이터 클래스 의 VC 차원으로 정의됩니다. (여기서 는 g 범위에 걸쳐 값을 가져옵니다). ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

또는 (약간)보다 직관적으로 실제 가치 함수 클래스의 VC 차원을 찾으려면 해당 실제 함수 클래스를 임계 값으로 만들어서 표시기 함수 클래스의 VC 차원을 찾을 수 있습니다.

— 숀 이스터
소스

그러나 이것은 임계 값 표시기에 대한 VC 차원을 제공하며 액면가에서 임계 값 표시기에 대한 PAC 경계를 얻는 방법이 회귀 함수의 성능에 대해 많은 것을 알려주는 방법을 알지 못합니다. 아마도 당신은 회귀 된 값에 대한 이진 검색 (경계 된 출력 도메인에 대한) 인수를 생각 해낼 수 있습니다.

— VF1

@ VF1 맞습니다. 회귀 함수의 VC 차원을 해석하는 방법은 좋은 별도의 질문이 될 수 있습니다.

— Sean Easter

별도의 질문을 게시했지만 Rademacher는 임의의 제한된 손실에 대해 많은 것을 할 수 있기 때문에 대답은 단순히 "회귀에 VC dim을 사용하지 마십시오"라고 생각합니다.

— VF1

@ VF1 나는 관심을 가지고 그렇게 대답했다! CV 표준은 질문을 게시물 당 하나의 질문으로 제한하고 OP가 해석이나 목적에 영향을 미치지 않았다는 것을 의미합니다.

— Sean Easter

Lebesgue-Stieltjes 측정 값을 사용한 임계 값 표시기 트릭 도출에 대해서는 통계 학습 (Vapnik) 5.2 단원을 참조하십시오. AFAIK 이것은 유일하고 결정적인 참조입니다. 책을 어디에서 찾을 수 있는지 알고 있어야합니다 (Vapnik의 다른 사람들도 모두 최상입니다).

— 밈 플렉스
소스

단지 참조를 제공하는 대신 인수를 요약 할 수 있다면 도움이 될 것입니다.

— mdewey