효율적으로 계산할 수 없지만 학습 가능한 기능

적절한 조건 하에서 튜링 머신이 다항식 시간 ( "효율적으로 계산 가능")으로 효율적으로 계산할 수있는 기능은 다항식 신경망에 의해 표현 될 수 있음을 대략적으로 말하면 (예 : [1]의 정리 1 및 3 참조) 합리적인 크기로, 따라서 모든 입력 분포 하에서 다항식 샘플 복잡성 ( "학습 가능")으로 학습 할 수 있습니다.

여기서 "학습 가능"은 계산 복잡성에 관계없이 샘플 복잡성에만 관련됩니다.

매우 밀접한 관련 문제가 궁금합니다. 튜링 머신이 다항식 시간 ( "효율적으로 계산할 수 없음")으로 효율적으로 계산할 수없는 기능이 있지만, 다항식 샘플 복잡도 ( "학습 가능")로 학습 할 수있는 기능이 있습니까? 모든 입력 배포에서?

[1] Roi Livni, Shai Shalev-Shwartz, Ohad Shamir, " 신경망 훈련의 계산 효율성 ", 2014

— 민코프
소스

나는 "따라서 배울 수있다"는 문제를 겪습니다. 거의 배우기가 매우 어려운 계산 기능 (예 : DFA)이 매우 효율적입니다.

— Aryeh

이것은 아마도 요점을 놓치고 있지만 (예)

클래스는 어떻

바이어스 부울 함수? (즉, 각 값이 독립적으로

이고 확률이

인 랜덤 함수

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

1

$1$

). 대한

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

, 균일 분포 하에서의 PAC- 러닝은 사소한 것이지만 (0 개의 샘플이 필요하고, 상수 함수

은 좋은 가설 임), 모든 평가 알고리즘이 초 다항식 시간을 소비해야하는 것처럼 보입니다 (함수에 구조가 없기 때문에). 그래도 나는 그 질문을 오해하고있을 것이다.

ε > 2^{- \sqrt{n}}

$\varepsilon > 2^{-\sqrt{n}}$

0

$0$

— Clement C.

당신의 용어는 약간 혼란입니다. "효율적으로 학습 가능"이라고 할 때 일반적으로 계산 효율성을 말합니다. “학습 가능”이라고 말하는 것만으로도 샘플 효율성을 암시 할 수 있습니다.

— Lev Reyzin

@Minkov PAC가 배우려면 모든 분포와 관련하여 배워야합니다. 그렇지 않으면 질문이 흥미롭지 않습니다 (클레멘트가 지적한 것처럼).

— Lev Reyzin

사람들은 왜 투표를 닫습니까? 나는 이것이 깊고 미묘한 질문이라고 생각합니다!

— Aryeh

나는 "효율"이 "계산 성"으로 대체되는이 질문의 변형을 공식화 할 것이다.

하자 $C_n$ 모든 언어의 개념 클래스가 $L\subseteq\Sigma^*$ 에 튜링 기계가 인식 할 $n$ 상태 이하. 일반적으로 $x\in\Sigma^*$ 및 $f\in C_n$ 경우 $f(x)$ 평가 문제를 결정할 수 없습니다.

그러나 대해 (적절하고 실현 가능한) PAC 학습 오라클 $A$ 에 액세스 할 수 있다고 가정하십시오 . 즉, 에 대해 oracle은 크기가 레이블이 지정된 표본을 요청하여 그러한 표본이 알 수없는 분포 에서 iid를 추출한다고 가정 하면 oracle 는 가설을 출력합니다. 확률 적어도 갖고 $C_n$ $\epsilon,\delta>0$ $m_0(n,\epsilon,\delta)$ $D$ $A$ $\hat f\in C_n$ $1-\delta$ $D$ -일반화 오류가 $\epsilon$ 보다 크지 않습니다 . 우리는이 오라클이 튜링 컴퓨팅이 아니라는 것을 보여줄 것입니다.

실제로, 우리는 더 간단한 문제를 결정할 수 없다는 것을 보여줄 것입니다. $S$ 존재 여부, $f\in C_n$ 과 일치 $S$ . $K$ 가 일관성 문제를 결정하는 튜링 머신이라고가정합니다 (모순됨).

우리는 다음 표기법을 사용합니다. 일반적인 사전 편찬 순서를 통해 $\Sigma^*$ 를 식별하십시오 . 들면 우리는 TM이라고 "S-인화" . (가정적으로) 를 결정할 수 있기 때문에 , 함수 TM 는 가장 작은 정의되어 일부 TM이 $\mathbb{N}=\{0,1,2,\ldots\}$ $x\in\{0,1\}^*$ $M$ $x$ 그것의 모든 스트링 허락 $\Sigma^*$ 인덱스에 대응하는 $i$ 명세서가 $x_i=1$ 이 아닌 의해 가능 (허용하지 않는다 중지) 인덱스 해당하는 문자열 중 하나 $x_i=0$ $K$ $\tilde K:x\mapsto k$ $k$ $C_k$ S-인화 $x$ , 튜링 계산 가능하다. 더 나아가 그 다음 함수 $g:k\mapsto x$ 하는 매핑되는 $k\in\mathbb{N}$ 최소 (전적으로) 문자열 $x\in\{0,1\}^*$ 되도록 $\tilde K(x)>k$ 또한 계산 가능합니다.

이제 TM 정의 $M$ 다음과 같이 $M$ S-를 인쇄 $g(|\langle M\rangle|)$ 여기서 $\langle M\rangle$ 인코딩이고 $M$ , $|x|$ 는 문자열 길이를 나타내며, 이러한 $M$ 의 존재를 주장하기 위해 재귀 정리가 호출됩니다 . 그런 다음 $M$ 에는 인코딩 길이가 있습니다. $\ell=|\langle M\rangle|$ 그리고 그것은 어떤 캐릭터가 인쇄 S- $x_M\in\{0,1\}^*$ . 구성에 따라 $\tilde K(x_M)>\ell$ 이므로 $x_M$ 은 설명 길이가 $\ell$ 이하인 TM으로 S 인쇄 할 수 없습니다 . 그러나 설명 길이 $\ell$ --- 모순 을 갖는 TM의 S- 프린트 출력으로 정의됩니다 .

— 아리에
소스

도전 과제 : 계산을 통한 나의 "비 초기적인"논증을 효율성을 통한 초의적인 논증으로 바꾸십시오. @minkov의 질문에 대한 대답은 부정적이라고 생각합니다. 효율적으로 평가할 수없는 함수 클래스를 효율적으로 배울 수는 없습니다. 적절하거나 실현 가능한 PAC를 넘어 서면 이것이 사실이라고 생각합니다.

— Aryeh