통찰력으로 이어지는 엄격한

MathOverflow에서 Timothy Gowers는 " 엄격함을 증명하는 것 "이라는 제목의 질문을했습니다 . 증거의 중요성을 보여주는 사례에 대한 대부분의 토론이 있었는데, CSTheory의 사람들은 아마 확신 할 필요가 없습니다. 필자의 경험에 따르면 증거는 연속 수학의 많은 부분보다 이론적 컴퓨터 과학에서 더 엄격해야합니다. 왜냐하면 우리의 직관은 종종 이산 구조에 대해 잘못된 것으로 판명되고 구현을 만들려는 노력이 더 자세한 논증을 장려하기 때문입니다. 수학자는 존재 증명에 만족할 수 있지만 이론적 인 컴퓨터 과학자는 일반적으로 건설적인 증거를 찾으려고 노력할 것입니다. Lovász Local Lemma가 좋은 예입니다 [1].

그러므로 알고 싶습니다

이론적 컴퓨터 과학에있어서 믿어지기 쉬운 진술에 대한 엄격한 증거가 근본적인 문제의 본질에 대한 새로운 통찰을 이끌어 낸 구체적인 예가 있습니까?

알고리즘과 복잡성 이론에서 직접적으로 나오지 않은 최근의 예는 증거-이론적 합성 ( pre -theoretic synthesis)으로 , 전제 조건과 후 조건에서 정확하고 효율적인 알고리즘을 자동으로 도출한다 [2].

• [1] Robin A. Moser와 Gábor Tardos, Lovász 지방 렘마 의 건설적인 증거 , JACM 57 , 기사 11, 2010. http://doi.acm.org/10.1145/1667053.1667060
• [2] Saurabh Srivastava, Sumit Gulwani 및 Jeffrey S. Foster, 프로그램 확인에서 프로그램 합성에 이르기까지 ACM SIGPLAN Notices 45 , 313–326, 2010. http://doi.acm.org/10.1145/1707801.1706337

편집하다:내가 생각한 종류의 대답은 Scott과 matus의 답변과 같습니다. Kaveh가 제안했듯이, 이것은 사람들이 증명하고자하는 것의 3 배 (그러나 "물리적", "손으로 바르기"또는 "직관적 인"논증에 의해 반드시 예상치 않은 것은 아님), 증거 및 "기본 문제"에 대한 결과 예상치 못한 증거 (예를 들어, 증거를 만들려면 예상치 못한 새로운 아이디어가 필요했거나 자연스럽게 알고리즘으로 이어 지거나 해당 영역에 대한 생각 방식을 변경 함)가 이어졌습니다. 증명을 개발하면서 개발 된 기술은 이론적 인 컴퓨터 과학의 구성 요소이므로이 다소 주관적인 질문의 가치를 유지하려면 Scott이 제공 한 개인적인 경험이나 참고 문헌에 의해 뒷받침되는 논쟁에 초점을 두어야합니다. matus처럼. 게다가, 나는 자격이 있는지 여부에 대한 논쟁을 피하려고 노력한다. 불행히도 질문의 본질은 본질적으로 문제가 될 수 있습니다.

: 우리는 이미 복잡성 "놀라운"결과에 대한 질문이 있습니다 (아니 복잡성 블로그 목록)에 복잡성에서 놀라운 결과를 이상적으로 내가 답을 찾고 그 초점 엄격한 증명의 가치 , 돌파구의 반드시 크기입니다.

András, 아시다시피, 당신이 말하는 것에 대한 많은 예가 있습니다. 시작해야 할 곳을 아는 것은 거의 불가능합니다! 그러나 사람들 이 자신의 하위 영역에서 널리 알려진 추측의 증거가 새로운 통찰력을 얻은 자신의 경험 에서 예 를 제시한다면이 질문은 실제로 좋은 질문이라고 생각합니다 .

저학년 때, 제가 해결했던 첫 번째 실제 TCS 문제는 이것입니다. 각각 √n AND의 √n 부울 변수의 OR을 평가하는 가장 빠른 양자 알고리즘은 무엇입니까? 저와 다른 사람들에게 당신이 할 수있는 최선의 일은 그로버 알고리즘을 재귀 적으로 OR과 AND 모두에 적용하는 것입니다. 이것은 O (√n log (n)) 상한을 제공했습니다. (실제로 로그 팩터를 제거 할 수 있지만 지금은 무시하십시오.)

하지만 엄청난 좌절감으로 사소한 Ω (n ^1/4 ) 보다 낮은 하한을 더 잘 증명할 수 없었습니다 . "가는 물리학 자"와 "답을 손으로 흔드는 것"은 결코 더 매력적으로 보이지 않았다! :-디

그러나 몇 달 후, Andris Ambainis는 그의 양자 대적 방법을 찾았는데 , 그의 주요 응용은 처음에는 OR-of-AND에 대한 Ω (√n) 하한입니다. 이 결과를 증명하기 위해 Andris는 양자 알고리즘 에 서로 다른 입력 의 중첩 을 공급하는 것을 상상했습니다 . 그런 다음 입력과 알고리즘 사이의 얽힘이 알고리즘이 작성한 각 쿼리마다 어떻게 증가하는지 연구했습니다. 그는이 방법을 통해 양자 알고리즘이 계산하려고하는 함수 f의 매우 일반적인 조합 특성 만 사용하여 "비대칭"비대칭 문제에 대해서도 하위 경계 양자 쿼리 복잡성을 어떻게 허용하는지 보여주었습니다.

하나의 성가신 문제의 양자 쿼리 복잡성이 모든 사람들이 예상했던 것임을 확인하는 것 외에도, 이러한 기술은 쇼어와 그로버 알고리즘 이후 양자 컴퓨팅 이론에서 가장 큰 진보 중 하나를 나타내는 것으로 밝혀졌습니다. 그들은 이후 수십 개의 다른 양자 하한을 증명하는 데 사용되어 왔으며 심지어 새로운 고전적인 하한 을 얻기 위해 용도가 변경되었습니다 .

물론 이것은 "멋진 수학과 TCS 세계에서 또 다른 하루"입니다. 모두가 "이미 알고있는"경우에도 X는 매우 자주 X를 증명하는 것은 다음까지 X를 넘어 적용받을 새로운 기술을 발명 필요하며, 특히 정답이 훨씬 덜 분명했다하는 문제에, 사실 사전 .

병렬 반복은 내 영역에서 좋은 예입니다.

병렬 반복에 대한 간단한 설명. 언어 대한 두 가지 증명 시스템이 있다고 가정합니다 . 모든 사람에게 알려진 입력 주어지면 검증자가 질문 을 증명 1로, 질문 를 증명 2로 보냅니다. 는 각각 과 로 대답합니다. 의사 소통. 검증기는 및 ( 에 따라 다름 )를 확인하고 수락할지 거부 할지를 결정합니다. 경우 의이 검증 항상 허용하는 피 인증 전략이 존재한다. 만약$L$$x$$q_1$$q_2$$a_1$$a_2$$a_1$$a_2$$q_1,q_2$$x\in L$$x\not\in L$어떤 피 인증 전략에 대한 검증은 대부분의 확률로 받아 ( "오류 확률").$s$

이제 더 작은 오차 확률을 원한다고 가정하자. 어쩌면 닫는 것입니다 , 우리는 원하는 . 자연스러운 접근 방식은 병렬 반복입니다 . 검증자가 각 프로 버, 및 독립적 인 질문을 보내도록합니다. , 및 에서 k 개의 답변을받습니다. , 그리고 답변에 대한 검사를 수행 합니다.$s$$1$$s = 10^{-15}$$k$$q_1^{(1)},\ldots,q_1^{(k)}$$q_2^{(1)},\ldots,q_2^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$k$

역사. 처음에, 검증자가 순차적 점검을하는 것처럼 오류 확률이 처럼 감소해야한다는 것이 "명확하다" . 전설은 "명백한"진술이 단순히 거짓이라는 것을 깨닫기 전에 학생에게 증명하기 위해 주어 졌다고 말합니다. : 여기에 반례의 설명이다 http://www.cs.washington.edu/education/courses/cse533/05au/na-game.pdf은 . Ran Raz가 오류 확률이 실제로 기하 급수적으로 감소한다는 것을 확인하기까지 다소 시간이 걸렸으며 (약 몇 가지 약한 결과), 약간 복잡한 동작이 있습니다 : , 알파벳 k s Ω ( k / log | Σ | )$s^{k}$$k$$s^{\Omega(k/\log|\Sigma|)}$$\Sigma$원래 시스템에서 가능한 답변자 집합입니다. 이 증거는 정보 이론적 아이디어를 사용했으며 의사 소통 복잡성에서 Razborov의 아이디어에서 영감을 받았다고합니다. Ran의 원래 증거 중 지저분한 부분은 나중에 Thomas Holenstein에 의해 아름답게 단순화되어 내가 가장 좋아하는 증거 중 하나가되었습니다.

문제와 더 많은 결과에 대한 통찰력. 먼저 즉각적인 것들이 있습니다. 병렬 반복의 정량적 행동에 대한 이해와 알파벳 역할, 프로듀서가 병렬 질문을 사용하여 부정 행위를 할 수있는 시점에 대한 이해,의 중요성에 대한 이해 쌍의 질문들 (후에 Feige와 Kilian에 의해 공식화 됨) 사이의 병렬 반복에서의 독립성 .$\Sigma$$k$

그런 다음 가능한 확장이있었습니다. Anup Rao는 원본 증명 시스템이 {\ em projection game} 일 때, 즉 첫 번째 증명 자의 대답이 허용 가능한 답변을 최대 하나만 결정 함을 보여주기 위해 분석을 조정할 수있었습니다. 두 번째 증명자는 알파벳에 전혀 의존하지 않으며 지수의 상수를 향상시킬 수 있습니다. 근사 결과의 대부분의 경도는 프로젝션 게임을 기반으로하고 고유 한 게임은 프로젝션 게임의 특별한 경우이기 때문에 이것은 중요합니다. 확장기 (리키 로젠 (Ricky Rosen)와 란 라즈 (Ran Raz))의 게임에서도 양적 개선이 이루어졌습니다.

그리고 광범위한 결과가 있습니다. 단지 몇 가지 예 : Raz의 논문에서 나온 정보 이론적 정리는 다른 많은 맥락 (암호화, 샘플링 및 검색 등가)에서 사용되었습니다. Holenstein이 사용한 "상관 된 샘플링"기술은 다른 많은 작업 (통신 복잡성, PCP 등)에 적용되었습니다.

진실이라고 여겨지는 진술을 입증하기 위해 엄격하고 새로운 기술인 또 다른 좋은 예 : 평활화 된 분석. 두 가지 경우가 있습니다 :

• 심플 렉스 알고리즘
• k- 평균 알고리즘

두 방법 모두 실제로 잘 작동하는 것으로 "잘 알려져"있으며, 처음에는 최악의 지수 시간이 걸린 것으로 알려져 있습니다. 순조로운 분석은 두 경우 모두 좋은 경험적 행동을 "설명한"것으로 볼 수 있습니다. 제에서의 최악의 복잡도가 공지 동안 것을 -means이었다 ,이 기하 급수적 있었다 하한이되었는지 알려지지 않았다 지금 우리가 알 비행기에서도 마찬가지입니다!O ( n c ⋅ k d ) $k$$O(n^{c \cdot kd})$$n$

다음 예제는 적어도 LLL 예제의 정신을 따르는 경우 찾고있는 종류의 결과를 가진 많은 연구를 일으켰습니다.

로버트 E. 샤 피어. 약한 학습 성의 강점. 기계 학습, 5 (2) : 197-227, 1990.

이 백서는 다음과 같은 문제를 해결했습니다. PAC 학습이 강력하고 약한가? 나는 그 서클에있는 사람들 (Schapire, Valiant, Kearns, Avrim Blum, ..)이 어떤 식 으로든 강하게 느꼈는지 (즉, 이미 당신이 찾는 것의 실례라면) 확실하지 않다. 의심, 그리고 당신은 주변의 논문을보고 자신을 형성 할 수 있습니다. 간단히 말해서 (그리고 아마도 / 아마도), 문제는 PAC 학습 가능 (가설 클래스에 의해, 분포에 대해) 에 대해 최대 에서 오류가있는 가설을 확률 이상으로 설정 합니다. 은 만족 하지만 는 만족시키지 못한다면1 − δ ϵ ϵ δ δ δ $\epsilon>0, \delta>0$$1-\delta$$\epsilon$$\epsilon$$\delta$그런 다음 가 사소하지 않은 한 ( '사소함'은 일부 세부 사항에 달려 있습니다. '효율적'의 의미를 남기고 있기 때문에) 반복적 인 시도는 신뢰도를 높일 것 입니다. 그러나 대신 임의 추측 (동일한 '사 소성'조건 적용)에 비해 이점 만 얻을 수 있다면 ,이 결과를 독창적으로 향상시켜 임의로 좋은 오류를 얻을 수 있습니까?$\delta$$\delta$$\gamma$

어쨌든 Schapire의 논문 이후 상황이 매우 흥미로워졌습니다. 그의 해는 원래 클래스의 가설보다 대다수의 다수를 만들어 냈습니다. 그런 다음에왔다 :

요브 프로 인트. 약한 학습 알고리즘을 대다수 강화. 정보 및 계산, 121 (2) : 256-285, 1995.

이 논문은 Schapire의 결과에 대한 '책망'을 가지게되었지만, 이제는 구성된 가설이 단일 다수만을 사용했다. 이 두 줄을 따라 두 사람은 AdaBoost라는 또 다른 책망을 일으켰습니다.

Yoav Freund와 Robert E. Schapire. 온라인 학습의 의사 결정 이론적 일반화 및 지원 확대. 컴퓨터 및 시스템 과학 저널, 55 (1) : 119-139, 1997.

약한 / 강한 학습 문제는 주로 이론적 인 문제로 시작되었지만 이러한 일련의 '방책'은 기계 학습에서 가장 영향력있는 결과 중 하나 인 아름다운 알고리즘으로 이어졌습니다. 나는 모든 종류의 접선을 떠날 수는 있지만 제 자신을 구속 할 것입니다. TCS와 관련하여, 이러한 결과는 (1) 곱하기 가중치 알고리즘 및 (2) 하드 코어 설정 결과와 관련하여 많은 생명을 불어 넣습니다. (1)에 대해, 나는 AdaBoost가 Warmuth / Littlestone (Freund는 Warmuth 학생이었습니다)의 곱하기 가중치 / 윈 노우 작업의 인스턴스로 볼 수 있음을 분명히하고 싶지만 부스팅에는 많은 새로운 통찰력이 있습니다 결과. (2)에 대해, 나는

또한 역사적 정확성을 위해 인용 날짜가 아마도 일부 사람들이 기대하는 것과 다를 수도 있다고 말해야합니다. 그 중 일부는 이전 버전의 회의가 있었기 때문입니다.

질문의 본질로 돌아 가기 여기서 '엄격한'의 핵심 가치는 배운 가설 클래스 (원래 가설 클래스보다 가중 대다수)와이를 찾는 효율적인 알고리즘을 제공하는 것이 었습니다.

이 예는 Dana와 Scott의 답변을 따릅니다.

깊이 의 무한 팬인 회로로 비트 의 패리티를 계산하는 가장 좋은 방법은 다음과 같은 재귀 전략 이라는 것이 "분명합니다" . 깊이 가 2이면 모든 항의 CNF (또는 DNF)를 작성하는 것보다 더 좋은 방법은 없습니다 . 경우 보다 큰 로 입력 변수의 집합을 중단 부품의 각각의 패리티를 추측 부 (AN OR 팬에 취하여 ) 및 패리티 을 더한 추측 에 대해 각 부분의 문제를 재귀 적으로 해결합니다 (팬인 의 AND를 취함 ) 깊이$n$$d$$d$$2^{n-1}$$d$$2$$n^{1/(d-1)}$$2^{n^{1/(d-1)}}$$1$$n^{1/(d-1)}$$d-1$회로. OR의 AND와 AND의 OR 사이의 각 재귀 수준에서 교대 하는 경우 (보충을 취하면) 패리티를 계산 하는 깊이 와 크기 의 회로로 끝납니다 .$2^{n^{1/(d-1)}}$$2^{n^{1/(d-1)}}$$d$$2^{O(n^{1/(d-1)})}$

1985 년에 Hastad는 "분명히 가장 좋은"깊이 회로가 지수의 상수까지 최적 이라는 것을 증명했습니다 . 이를 위해 그는 회로, 병렬 알고리즘 및 교정 시스템에 대한 하한을 증명하는 데 매우 유용한 도구 인 Switching Lemma를 증명했습니다. 이것은 우리가 특정 자연 알고리즘이 최적이라는 것을 알고있는 몇 안되는 사례 중 하나이며, 의 힘을 매우 상세하게 이해하도록 이끌었습니다 .A C $d$$AC^0$

Rasborov와 Rudich의 논문 "Natural Proofs" 는 " P ≠ NP를 증명하는 것이 정말 어렵다 "라는 고통스러운 명백한 진술에 대한 엄격한 증거를 제공합니다 .

일부 알고리즘 문제는 50 년대 이후 그리고 아마도 그 이전에 기하 급수적 인 단계 또는 모든 가능성에 대한 철저한 탐색이 필요하다는 생각이 제기되었습니다. (물론 컴퓨터가 모든 것을 할 수 있다는 경쟁적인 순진한 아이디어도 흔했습니다.) Cook과 Levin의 주요 혁신은이 아이디어를 엄격한 근거에 두는 것이 었습니다. 물론 이것은 모든 것을 바 꾸었습니다.

업데이트 : 방금 투르키스탄의 좋은 답변과 같은 내 대답은 "통찰력을 이끌어내는 힘"이라는 제목을 언급하지만 아마도 "정리에 대한 엄격한 증거"에 관한 구체적인 표현은 아닙니다.

Alan Turing은 Turing 기계를 사용하여 알고리즘 개념 (유효한 계산 능력)을 공식화했습니다. 그는이 새로운 형식을 사용하여 Halting 문제를 결정할 수 없음을 증명했습니다 (즉, Halting 문제는 어떤 알고리즘으로도 해결할 수 없음). 이로 인해 힐버트 10th 문제가 불가능하다는 것을 증명하는 긴 연구 프로그램이 탄생했습니다. 1970 년 Matiyasevich는 정수 Diophantine 방정식에 정수 솔루션이 있는지 여부를 결정할 수있는 알고리즘이 없음을 증명했습니다.