패리티 학습 질문

비트 집합에 함수 클래스를 정의 해 봅시다 . 서로 "합리적으로"다른 두 분포 를 수정합니다 (원하는 경우 변동 거리는 적어도 또는 이와 유사한 ). $n$ $p, q$ $\epsilon$

이제이 클래스의 각 함수 는 인덱스 집합으로 정의되며 다음과 같이 평가됩니다. 선택한 비트의 패리티가 0이면 에서 임의 샘플을 반환하고, 그렇지 않으면 에서 임의 샘플을 반환합니다 . $f$ $k$ $S$ $p$ $q$

문제점 : 이 클래스에서 일부 oracle 액세스 권한이 부여 되고 (또는 다른 거리 측정)를 알고 있지만 와 모른다고 . $f$ $\epsilon$ $p$ $q$

PAC-learn 필요한 전화 수에는 제한이 있습니까? 아마도 내 대답은 및 관점에있을 것입니다 . $f$ $n, k$ $\epsilon$

참고 : 출력 도메인을 지정하지 않았습니다. 다시 말하지만 융통성이 있지만 지금은 와 가 유한 도메인 대해 정의되어 있다고 가정 해 봅시다 . 일반적으로 대해 정의 된 경우 (예 : 가우시안 인 경우)에도 관심이 있습니다. $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— 수레 쉬 벤 카트
소스

모델을 이해하지 못했습니다. 오라클 호출에서 무엇을 지정합니까? 예제는 항상 대상이 지정한 분포에서 가져 옵니까?

— Lev Reyzin

오라클 호출에서는 f ()를 호출하고 값을 반환합니다.

— Suresh Venkat

목적 함수에 따라서 그래서

어느

또는

항상 실시 예를 생성하기 위해 사용된다? (나는 당신이 클래스

배우고 있다고 가정합니다 .)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— Lev Reyzin

네 맞습니다. 문제는 어느 것을 배우는가 (또는 사용되는 패리티 비트를 배우는 것)

— Suresh Venkat

PAC 모델을이 모델에 어떻게 적용할지 잘 모르겠습니다. 그러나이 구별 할 수있을만큼의 것으로 보인다

에서

확률

그리고 당신이 얻을 수있는

의 값

선형 독립적 인

찾아 위해 가우스 소거법을 사용하여

하기 때문에 (

선형입니다). 예를 들어 두 개의 잘 분리 된 가우시안을 구별하는 것이 쉬울 것입니다.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

아래 의견에 대한 토론은 내가 그 질문을 오해했다는 것을 나타냅니다. 내 대답은 '노 입력을 복용하지 않고 반환 오라클과 같다 여기서 또는 에 따라, . 이것은 분명히 요구되는 것이 아닙니다. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

목표 분포는 모든 목표 에 고정되어 있기 때문에, 샘플 상한이 적용됩니다 (이 한계에 대한 목표 분포가 에 완전히 의존 할 수 있다는 사실에 따릅니다 ). 따라서 $f^* \in F$ $f^*$ 예 에러 가설 찾기 위해 충분해야WP. 주-이러한 예를 본 후에에서 일관된 가설을 찾아야하며 이는 다루기 어려운 것일 수 있습니다.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

한편, 하나는 얻을 수있는 거의 하부에도 경우에 대한 결합 매칭 , 균일 분포, 의 예는 스틸 (이 다소 개선 될 수있다) 필요 . $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

와 사이의 변이 거리 와 는 이러한 경계 사이의 작은 간격에서 역할을 할 수 있지만 의심합니다. $p$ $q$ $k$

— 레브 레이 진
소스

일반적인 PAC- 학습 설정에는 분포

에서 표본

를 추출하고

반환 하는 오라클

이 있습니다. 이것은 Suresh의 질문이나 bit.ly/YtwdST에서 영감을 얻은 블로그 게시물에 설명 된 설정이 아닙니다 . 이 두 가지 모두에서 오라클 은 함수

이며 학습자는 인스턴스 세트에서 임의의 요소를 자유롭게 제출할 수 있습니다 (길이

비트 열)

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). 레프, 당신의 대답은 첫 번째 유형 또는 두 번째 유형의 오라클을 가정합니까? 두 번째 유형이라면 여전히 PAC- 러닝에 대해 이야기하고 있습니까?

— Keki Burjorjee

내가 참조. PAC에서 "oracle"은 일반적으로

에서

를 반환하는 버튼으로 간주됩니다 . 당신이 설명하는 오라클은 "회원 질의"에라고

. 내 대답은 전자에만 적용됩니다. 멤버십 쿼리 만있는 경우 Suresh의 프레임 워크를 사용하여

또는

에 대한 정보를 어떻게 찾을 수 있습니까? 간단히하기 위해

라고합시다 .

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Lev Reyzin

설명해 주셔서 감사합니다. 따라서 Suresh가 설명한 경우, "멤버쉽 쿼리"오라클은 다음과 같이 작동합니다 (오라클은 부울 멤버 / 비아 님뿐만 아니라 실제 값을 반환 할 수 있기 때문에이 엔티티를 따옴표로 묶은 것으로 가정합니다. 멤버 응답) : 유효 속성의 패리티가 1 인 경우 반환 된 결과는 분포

에서 가져옵니다 . 그렇지 않으면 결과는 분포

에서 도출됩니다 . 주름이 더 있습니다. 오라클은 이전의 모든 답변을 기억하고 동일한 입력으로 쿼리하면 반환합니다. 다시 말해 결정 론적입니다.

p

$p$

q

$q$

— Keki Burjorjee

이해가 안 돼요 오라클이 단순히 함수

이고

를 주어 쿼리하면

반환하지 않습니까? 학습자가

자신을 생성하는 경우

또는

는 어떻게 재생 됩니까? 나는이 기본 요점을 전혀 이해하지 못했다고 생각합니다.

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— Lev Reyzin

들면

및

:이 레딧 주석의 하단에 주어진 「주름」의 문제점에 대한 오라클의 의사 bit.ly/XvVMC4 ( ). SE가 주석에 줄 바꿈을 허용하지 않기 때문에 코드를 인라인 할 수 없습니다. 문제의 "주름없는"버전을 얻으려면 line을 제거하십시오 .

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Keki Burjorjee