멤버십 쿼리와 정확한 학습의 조합 특성

15

편집 : 일주일 동안 아무런 답변 / 의견을받지 못했기 때문에 문제에 대해 듣고 싶다고 덧붙이고 싶습니다. 나는 그 지역에서 일하지 않기 때문에 간단한 관찰이지만 그것을 알지 못할 수도 있습니다. "나는 그 지역에서 일하지만 이런 특성을 보지 못했다"와 같은 의견조차 도움이 될 것입니다!

배경:

학습 이론 (예 : PAC 학습, 온라인 학습, 멤버십 / 동등성 쿼리를 통한 정확한 학습)에는 잘 학습 된 여러 학습 모델이 있습니다.

예를 들어, PAC 학습에서 개념 클래스의 샘플 복잡도는 클래스의 VC 차원 측면에서 훌륭한 조합 특성을 갖습니다. 따라서 정확성과 신뢰도가 일정한 클래스를 배우려면 샘플을 사용하면됩니다. 여기서 는 VC 차원입니다. (우리는 시간 복잡성이 아니라 샘플 복잡성에 대해 이야기하고 있습니다.) 정확성과 신뢰도 측면에서보다 세련된 특성화가 있습니다. 마찬가지로 온라인 학습의 실수로 묶인 모델에는 멋진 조합 특성이 있습니다. $\Theta(d)$ $d$

질문:

멤버십 쿼리를 사용한 정확한 학습 모델에 대해 유사한 결과가 알려져 있는지 알고 싶습니다. 모델은 다음과 같이 정의됩니다. 입력 제공 하는 블랙 박스에 액세스 할 수 있습니다 . 우리는 가 어떤 개념 클래스 에서 나온다는 것을 알고 있습니다. 가능한 적은 쿼리로 를 결정하려고 합니다. $x$ $f(x)$ $f$ $C$ $f$

멤버십 쿼리를 사용한 정확한 학습 모델에서 개념을 학습하는 데 필요한 쿼리 수를 특성화 하는 개념 클래스 의 조합 매개 변수가 있습니까? $C$

내가 아는데 것을:

내가 찾은 최고의 특성은 Servedio와 Gortler의이 논문 에서 Bshouty, Cleve, Gavaldà, Kannan 및 Tamon의 속성을 사용하는 매개 변수를 사용하는 것 입니다. 이들은 라는 조합 매개 변수를 정의합니다 . 여기서 는 다음과 같은 특성을 갖는 개념 클래스입니다. ( 가이 모델에서 를 배우는 데 필요한 최적의 쿼리 수라고 합시다 .) $\gamma^C$ $C$ $Q_C$ $C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

이 특성은 거의 빡빡합니다. 그러나 상한과 하한 사이에는 2 차 간격이있을 수 있습니다. 예를 들어 이면 하한은 이지만 상한은 입니다. (또한이 격차를 달성 할 수 있다고 생각합니다. 즉, 하한이 인 개념 클래스가 있지만 상한은 $1/\gamma^C = \log |C| = k$ $\Omega(k)$ $O(k^2)$ $\Omega(k)$ $O(k^2)$ .)

reference-request machine-learning lg.learning

— 로빈 코타 리
소스

1

"Haystack 차원"은 함수 최적화의 쿼리 복잡성을 특성화합니다. cis.upenn.edu/~mkearns/papers/haystack.pdf , 이것은 원하는 것과 다르지만 특성화에 대해 알려진 내용을 논의하는 관련 작업을 즐길 수 있습니다 정확한 학습의 쿼리 복잡성

— Aaron Roth

6

익명의 무스의 예를 들어 보려면 {0,1} ^ n의 한 지점에서만 1을 출력하는 함수로 구성된 개념 클래스를 고려하십시오. 클래스의 크기는 2 ^ n이며 최악의 경우 2 ^ n 개의 쿼리가 필요합니다. 찾고있는 것과 비슷한 것을 제공하는 최악의 경우 교육 차원 (Goldman & Schapire)을 살펴보십시오.

— 익명의 거위
소스

1

감사! Teaching Dimension을 검색하면 질문에서 언급 한 조합 매개 변수와 유사한 Extended Teaching Dimension으로 이동하여 주제에 대한 다른 많은 흥미로운 논문으로 이끌었습니다.

— Robin Kothari

4

나는 그런 특성에 대해 모른다. 그러나 거의 모든 개념 클래스에 대해 모든 포인트를 쿼리해야합니다. 이를 확인하려면 해밍 가중치가 1 인 모든 n 차원 부울 벡터로 구성된 개념 클래스를 고려하십시오.이 개념 클래스는 분명히 카디널리티와 동일한 n 개의 쿼리를 학습해야합니다. 거의 모든 개념 클래스도 모든 쿼리를 수행해야하도록이 관찰을 일반화 할 수 있습니다.

개념 클래스 C가 입력으로 주어지면 멤버십 쿼리를 사용하여 개념 클래스를 정확히 학습하는 복잡성을 결정하거나 심지어 상수라고 가정하는 것이 NP-hard라고 생각합니다. 이것은 "좋은"조합 특성화가 존재하지 않음을 나타내는 것입니다. 이러한 NP-hardness 결과를 증명하고 싶지만 여기에 게시하려고 시도하면 실패하면 알아낼 수 있는지 알 수 있습니다 (아이디어가 있음).

— 익명의 무스
소스

1

답변 주셔서 감사합니다. 거의 모든 개념 클래스 (클래스에 대한 합리적인 분배 아래)가 배우기가 어렵다는 것이 사실이지만, 일부 클래스는 배우기 쉽고 이것을 특징 짓는 조합 매개 변수를 갖는 것이 흥미로울 것입니다. 매개 변수를 계산하기 어려운지 상관 없습니다. VC 차원조차도 효율적으로 계산 가능한 것으로 알려져 있지 않습니다.

— Robin Kothari

1

다른 사람들이 대답을 지적했지만. 나는 그것을 독립적으로 만들고 교수 차원 이 답인 이유를 보여줄 수 있다고 생각했습니다 .

입력 공간 대한 개념 클래스 를 고려하십시오 . 요소의 집합 개념에 대한 교육 세트라고 경우 유일 개념 와 일치 . $C$ $X$ $S\subseteq X$ $f$ $f$ $C$ $S$

하자 모든 교시 세트들의 집합 및 정의 TD 의 교시 측정 될 . 즉, 가장 작은 티칭의 카디널리티는 에서 TS 를 설정 합니다. 마찬가지로 TD max $\mathcal{T}(f)$ $f$ $(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$ $f$ $_{min}(f)$ $\mathcal{T}(f)$ $(C)=$ TD는의 교시 치수입니다. $_{f\in C}$ $(f,C)$ $C$

를 식별하는 데 필요한 최소 쿼리 수 는 TD 입니다. 쿼리 전략 TS 시퀀스 사용하는 경우에 발생 . 더 적은 쿼리에 관해서는 적어도 두 가지 개념이 일치합니다. 그리고 TD 임의의 최소 인 . $f$ $(f,C)$ $_{min}(f)$ $(C)$ $f$

— 세터
소스

교육 차원 상한이 학습

의 쿼리 복잡성을 상쇄하는 이유를 이해하지 못합니다 . 알고리즘은 어떻게 생겼습니까? 함수

는 시작할 때 알고리즘에 알려지지 않으므로

대한 티칭 세트를 간단히 쿼리 할 수 없습니다 .

f

$f$

f

$f$

f

$f$

— 로빈 코타 리

@RobinKothari TD 하한은 모든 MQ 알고리즘의 최소 쿼리 수입니다. 실제로, 부정 행위 나 코드 트릭없이이 한계를 무작정 달성하는 알고리즘이 없을 수도 있습니다. Angluin의 "Queries Revisited"논문에서 그녀는 최악의 경우 최상의 MQ 알고리즘에 필요한 쿼리 수를 나타내는 MQ라는 매개 변수에 대해 논의했습니다. 나는 그 세부 사항을 기억하지는 않지만 확실히 TD <= MQ입니다.

— seteropere

1

내가 관심이 있었던 것은 (이 질문을했을 때) 멤버십 쿼리를 통한 정확한 학습을 특징 짓는 매개 변수였습니다. 상한과 하한이어야합니다. 나는 문제에서 이것을 달성하는 매개 변수의 예를 제공했다 (최대 log | C | 팩터). 내 질문은 더 나은 것이 알려져 있는지 여부였습니다.

— Robin Kothari