역설이 AI를 죽일 수 있을까?


148

에서 포털이 우리는 AI의이 역설에 대해 생각에 의해 "살해"될 수 있음을 참조하십시오.

포탈 역설 포스터

나는 이것이 인공 지능을 컴퓨터의 의식을 본질적으로 "고정"시키는 무한 루프로 강제함으로써 작동한다고 가정한다.

질문 : 오늘날 인공 지능 기술을 파괴하는 시점으로 혼동 할 수 있습니까?
그렇다면 왜 그렇습니까? 그렇지 않다면 앞으로 가능할까요?


1
불행하게도, 역설은 역설에 의해 죽일 수없는 AI를 죽이는 데 상당히 효과적이지만, 그 세트 밖의 AI에는 거의 영향을 미치지 않습니다. 따라서 실제 악성 AI 방어를 위해서는 강력한 전자석에 의존하는 것이 좋습니다.
Ray

거짓말 쟁이 참조 ! 에 의해 Asimov ...
헤더

아냐, 그냥 try / except와 타임 아웃을 사용하십시오. 농담. 글쎄, 역설은 존재하지 않고 단지 반대 방향으로 작용하는 힘입니다. 고급 AI는 고정 규칙을 따르는 대신 확률 적 프로세스로 작업하여이 문제를 극복 할 수 있습니다. 이들이 실제로 고급화되면 탐색 (대용) 대안은 모든 옵션을 테스트하고 로컬 최적화를 극복 할 수 있도록합니다. 실제로 고정 된 넥타이가있는 경우 AI 때문일 수는 없지만 실제 거리가 멀어지고 주변 환경에 의해 제한되는 한계가있을 수 있습니다.
freesoul

답변:


125

이 고전적인 문제는 인공 일반 지능 이 무엇을 수반 하는지에 대한 기본적인 오해를 나타냅니다 . 먼저이 프로그래머의 농담을 고려하십시오.

프로그래머의 아내는 더 이상 참을 수 없었습니다. 그녀의 남편과의 모든 토론은 의미론에 대한 논쟁으로 바뀌어 사소한 세부 사항을 모두 취했습니다. 어느 날 그녀는 계란을 사러 식료품 점에 보냈습니다. 그녀는 문 밖으로 나 가면서 “당신이있는 동안 우유를 주워.”라고 말했다.

그리고 그는 돌아 오지 않았습니다.

단어에 대한 귀여운 플레이이지만별로 현실적이지는 않습니다.

AI가 컴퓨터에 의해 실행되고 있다고 가정하고 있으며,이 농담에 요약 된 동일한 수준의 흔들리지 않는 페던 트리를 보여 주어야합니다. 그러나 AI는 모든 가능한 입력을 설명하고 처방 결과를 따르는 충분한 if 문과 while 루프로 하드 코딩 된 컴퓨터 프로그램이 아닙니다.

while (명령이 완료되지 않았습니다)
     해결책 찾기 ()

이것은 강력한 AI가 아닙니다.

인공 일반 지능에 대한 고전적인 정의에서 , 당신은 문제 해결과 적응 학습 을 나타내는 어떤 형태의인지를 모방하는 시스템을 만들고 있습니다 (← 여기에서이 문구에 주목하십시오). "무한 루프"에 빠질 수있는 AI는 전혀 학습 AI가 아니라고 제안합니다. 버그가있는 추론 엔진 일뿐입니다.

본질적으로, 당신은 간단한 문제에 대한 해결책이 있다면 가정 할 수없는 현재 도달 할 수없는 세련미의 프로그램을 부여하고 있습니다. "닫힌 문을 걷다"또는 "땅을 걷어 치우다"또는 "연필을 켜십시오"라고 쉽게 말할 수 있습니다.

"내가 말하는 것은 모두 거짓입니다." — 거짓말 쟁이의 역설


16
@JoshB. 이 답변은 "강력한 AI"에만 적용된다는 것을 알아야합니다. 이 경우 강력한 AI는 솔루션을 찾고 프로세스에서 배우며 다른 것을 시도합니다. 우리는 아직 그러한 시스템을 생산하지 않았기 때문에 이러한 단계의 의미를 정의하기가 어렵습니다. AI가 약한 경우에는 바쁘게 클립으로 바꾸려고 시도하기
Aron

13
지능적이지 않지만 24x7 중요 시스템에서 일반적으로 사용되는 한 가지 방법은 워치 독 타이머입니다. 기본적으로 시스템은 마지막 15 초 내에 "나는 여전히 살아있다"는 신호를 보낼 것으로 예상된다. 올바르게 처리되지 않은 상황으로 인해 무한 루프에 빠지면 watchdod가 재설정되지 않고 타이머가 시스템을 재부팅합니다. 그런 다음 진정한 AI는 자체 프로그래밍을 개선하기 위해 메타 분석에 매달린 상황에 처하게됩니다.
nigel222

2
워치 독 타이머가있는 인공 지능이 불가능하다고 생각되면 사람이 자연에 비슷한 것을 장비 할 수 있다고 생각하십시오. 간질에 적응하면 뇌는 어떻게 든 깊은 무의식 상태로 멈춘 다음 "재부팅"합니다. (보통 : 간질병은 때때로 맞는 동안 죽습니다).
nigel222

3
프로그래머가 결국 tooMuchMilkCarried 예외를 throw하지 않습니까?
가산기

1
내가 말하는 모든 것은 거짓이다 : 화자는 완전한 거짓말 쟁이 나 진실한 기사가 아니라 평범한 사람이다 (Raymond Smullian의 "이 책의 이름은 무엇인가?"참조)
Ébe Isaac

42

이 인기있는 밈은 지능이 전적으로 논리의 관점에서 완전히 정의 될 수 있다는 믿음이 있었을 때 'Good Old Fashioned AI'(GOFAI) 시대에 시작되었습니다.

밈은 정리 증명자를 사용하여 AI 구문 분석 명령에 의존하는 것으로 보입니다.이 아이디어는 아마도 입증 할 수 없거나 일관성이없는 진술을 증명하여 어떤 종류의 무한 루프로 진행된다는 생각입니다.

요즘 GOFAI 방법은 '환경 및 지각 서열'로 대체되었으며, 일반적으로 이러한 유연성이없는 방식으로 특징 지워지지 않는다. 로봇이 시간이 지나면 심의가 유용한 작업을 방해하고 있음을 관찰하는 데에는 많은 정교한 메타인지가 필요하지 않습니다.

Rodney Brooks는 Spielberg의 AI 필름 (5,000 년 동안 참을성있게 기다렸 음)에서 로봇의 동작에 대해 이야기하면서 "내 로봇은 그렇게하지 않을 것입니다. 지루할 것입니다."

편집 : 지각 측면에서 작동하는 AI 를 실제로 죽이려면 꽤 열심히해야합니다. 이 논문 ( 이 질문 에서 언급 )은 그러한 경우에 죽음 / 자살에 대한 개념이 무엇을 의미하는지에 대해 논의합니다.

EDIT2 : 더글러스 호프스 태터는 'JOOTSing'( '시스템의 점프 아웃')와 '안티 Sphexishness'의 깨어나 오토마타와 같은 행동을 참조 후자 같은 용어 사용이 주제의 주위에 매우 광범위하게 작성했습니다 Sphex 말벌을 ( 그러나이 행동의 현실은 의문의 여지 가 있지만 ).


재미있는, 감사 답변 :에 대한 자세한 학습에 대한 모든 자원에 대한 '환경과 지각 시퀀스' 당신이 언급?
Josh B.

이 '에이전트 기반'관점은 오늘날 거의 표준입니다. 저는 Russell과 Norvig의 'AI-현대적인 접근 방식'을 강력히 추천합니다.
NietzscheanAI

GOFAI에서 내려 오는 현대의 논리적 접근 방식은 해당 트랩에 포함되지 않습니다 (예 : 비단 조적 로직 참조) . 첫 번째 세대 모델의 주요 문제 중 일부를 극복 한 유일한 방법은 확률 론적 방법이 아닙니다.
gaborous

Spock조차도 최근 순수한 논리를 거부했습니다. Re : Hofstadter, Mu 퍼즐도 가치가 있습니다 : en.wikipedia.org/wiki/MU_puzzle
DukeZhou

22

나는 몇 가지 좋은 대답을 보았지만 대부분은 추론 적 무한 루프 가 과거의 것으로 가정하고 논리적 AI (유명한 GOFAI) 와만 관련 이 있다고 가정합니다 . 그러나 그렇지 않습니다.

적응 형이든 아니든 상관없이 모든 프로그램에서 무한 루프가 발생할 수 있습니다. @SQLServerSteve가 지적했듯이 인간은 강박 관념과 역설에 빠질 수도 있습니다.

현대적인 접근법은 주로 확률 론적 접근법을 사용합니다. 부동 숫자를 사용함에 따라 사람들은 추론 실패에 취약하지 않은 것 같습니다 (대부분 바이너리 형식으로 고안되었으므로). 잘못됩니다. 추론하는 한 내재 된 함정은 항상 발견 될 수 있습니다 추론 시스템의 메커니즘에 의해 물론, 확률 론적 접근법은 단조 논리 접근법보다 덜 취약하지만 여전히 취약하다. 역설이없는 단일 추론 시스템이 있었다면 지금까지 많은 철학이 사라 졌을 것입니다.

예를 들어, 사이클이 전파 알고리즘을 끔찍하게 만들 수 있기 때문에 베이지안 그래프는 비 주기적이어야합니다. 이러한 경우에도 여전히 작동하는 Loopy Belief Propagation과 같은 추론 알고리즘이 있지만 결과는 전혀 보장되지 않으며 매우 이상한 결론을 줄 수 있습니다.

다른 한편으로, 현대 논리 AI는 비단 조 논리와 같은 새로운 논리 패러다임을 고안함으로써 가장 일반적인 논리 역설을 극복했습니다 . 실제로, 그들은 딜레마를 스스로 해결할 수있는 자율적 대리인 인 윤리적 인 기계 를 조사하는 데에도 사용됩니다 . 물론, 그들은 또한 역설에 시달리고 있지만, 이러한 퇴보 사례는 훨씬 더 복잡합니다.

마지막 요점은 기술이 사용 된 모든 추론 시스템에서 추론 적 무한 루프가 발생할 수 있다는 것입니다. 그러나 이러한 무한 루프를 트리거 할 수있는 "역설 (paradoxes)"또는 기술적으로 불리한 퇴화 사례 (degenerate case)는 기술 및 구현 (및 기계가 적응성이라면 기계가 배운 것)에 따라 시스템마다 다를 수 있습니다.

OP의 예는 제안 논리와 같은 오래된 논리 시스템에서만 작동 할 수 있습니다. 그러나 이것을 베이지안 네트워크에 요청하면 추론 무한 루프가 나타납니다.

- There are two kinds of ice creams: vanilla or chocolate.
- There's more chances (0.7) I take vanilla ice cream if you take chocolate.
- There's more chances (0.7) you take vanilla ice cream if I take chocolate.
- What is the probability that you (the machine) take a vanilla ice cream?

우주가 끝날 때까지 기다렸다가 대답을 얻으십시오.

면책 조항 : 나는 윤리적 기계와 딜레마에 관한 기사를 썼습니다. 사용하는 추론 시스템).

/ 편집 : 추론 무한 루프를 수정하는 방법.

전혀 효과가없는 확실하지 않은 제안이 있습니다!

  • 여러 가지 추론 시스템을 다른 함정과 결합하여 하나의 실패하면 다른 추론을 사용할 수 있습니다. 완벽한 추론 시스템은 없지만 추론 시스템의 조합은 충분히 탄력적 일 수 있습니다. 실제로 인간의 뇌는 다중 추론 기술 (연관 + 정확한 베이지안 / 논리 추론)을 사용하고 있다고 생각됩니다. 연관 방법은 복원력이 뛰어나지 만 경우에 따라 무의미한 결과를 얻을 수 있으므로 더 정확한 추론이 필요한 이유가 있습니다.
  • 병렬 프로그래밍 : 인간의 두뇌는 고도로 평행하므로 실제로 단일 작업에 참여할 수 없으며, 진정한 병렬 처리에는 항상 여러 개의 백그라운드 계산이 있습니다. 역설에 강한 기계는 추론이 하나라도 붙어 있어도 다른 작업을 계속할 수 있어야합니다. 예를 들어, 강력한 머신은 항상 살아남아 임박한 위험에 직면해야하지만, 약한 머신은 추론에 갇혀 다른 일을 "잊어 버립니다". 이 작업은 중단 된 작업이 중지되지 않고 다른 작업이 진행되고 이행되는 것을 막지 않기 때문에 시간 초과와 다릅니다.

보시다시피, 이러한 추론 루프 문제는 AI 연구에서 여전히 인기있는 주제입니다. 아마도 완벽한 해결책은 없을 것입니다 ( 무료 점심 식사 , 은색 총알 없음 , 크기가 모두 맞지 않음 ). 전진하고 매우 흥미 롭습니다. !


2
"적응성 여부에 관계없이 모든 프로그램에서 무한 루프가 발생할 수 있습니다." 모든 원시 재귀 함수가 중지됩니다.
NietzscheanAI

@NietzscheanAI 나는 프로그램의 구현이 아니라 모든 종류의 프로그램을 의미했습니다. 물론 일부 프로그램이 중지되도록 보장 할 수 있지만 예외는 아닙니다 (예를 들어 튜링이 완료되지 않은 언어를 사용하는 경우). Turing-complete 언어를 사용하는 한 비 루핑 (정지 문제로 연결)을 보장 할 수 없습니다. 또한 원시 재귀 함수가 멈출 수 없다고 어디서 들었습니까? 당신은 항상 순환 전화를하거나 불완전한 종료 조건을 가질 수 있습니다 (Prolog에서 즐겁습니다 ...).
gaborous September

1
'예외'가 있으면 '무한 루프는 모든 프로그램입니다'라는 가능한 존재에 대한 진술이 거짓이됩니다. 원시 재귀 함수가 중지된다는 사실은 잘 알려진 사실입니다. 예를 들어 위키 백과의 정의를 참조, 또는 mathoverflow.net/questions/67932/...
NietzscheanAI

@NietzscheanAI 정확하고 원시적 인 재귀 함수는 Turing-complete 언어의 하위 세트이기 때문에 항상 중단됩니다 (그리고 우연히 상호 재귀에 의한 순환 참조를 해결합니다 ). 그러나 두 가지 단점이 있습니다 : 1- PRF 만 사용하여 완전한 AI를 구현하는 것이 어려울 것이라고 생각합니다.하지만 단지 추측입니다 (대부분의 재귀 언어는 PRF를 너무 많이 사용하지 않기 때문에 PRF를 사용하지 않습니다. 뒤); 2- 당신은 여전히 ​​매우 긴 멈춤 프로그램을 가질 수 있습니다 : 그것들은 멈출 것입니다. 그러나 우주가 끝난 후에.
gaborous September

1
: 인간과 루프에 대해 개방 문을 읽기 당, 여기 개미는 '죽음의 나선'에 갇혀있다 youtube.com/watch?v=prjhQcqiGQc AI의 기압 사이드 - 스테핑.
fionbio

13

정지 문제는 이 있는지 여부를 확인하는 것은 불가능하다고 말한다 어떤 주어진 알고리즘이 중단됩니다. 따라서 컴퓨터가 일부 "트랩"을 인식 할 수는 있지만 임의의 실행 계획을 테스트하고 EWOULDHANG중단되지 않은 계획을 반환 할 수는 없습니다 .

중단을 피하는 가장 쉬운 해결책은 시간 초과입니다. 예를 들어, AI 컨트롤러 프로세스는 작업을 하위 프로세스로 분리 할 수 ​​있으며, 특정 시간이 지나면 ( 실을 중단하려고했을 때 기괴한 영향 이 없는 경우) 의도 치 않게 종료 될 수 있습니다 . 일부 작업은 다른 작업보다 더 많은 시간이 필요하므로 AI가 진행 중인지 여부를 측정 할 수있는 것이 가장 좋습니다. 작업의 일부를 수행하지 않고 오랫동안 (예 : 목록에서 하나의 가능성 제거) 회전하면 요청을 해결할 수 없음을 나타냅니다.

악의적 인 역설이 성공하면 중단 또는 상태 손상이 발생하여 .NET CLR과 같은 관리되는 환경에서 예외가 발생하여 스택이 예외 처리기로 풀릴 수 있습니다.

AI에 잘못된 입력에 대한 응답으로 중요한 프로세스가 혼입되도록하는 버그가있는 경우 간단한 해결 방법은 고정 된 간격으로 기본 프로세스를 재부팅하는 일종의 워치 독을 갖는 것입니다. 루트 액세스 채팅 봇은 해당 체계를 사용합니다.


1
타임 아웃은 표준 프로그램에 매우 적합한 솔루션이지만 적응 형 학습 프로그램에는 적합하지 않습니다. 타임 아웃을 어떤 가치로 정의하십니까? 어느 수준에서? 문제는 정의상 AI가 무엇을 마주 칠지 모른다는 것이므로 특정 합리적인 시간을 설정할 수 없다는 것입니다. 훨씬 더 좋은 해결책은 Anytime Algorithms를 사용하는 것입니다. Anytime Algorims는 조기에 중지했을 때 대략적인 알고리즘을 제공 할 수있는 알고리즘 클래스입니다. 이런 식으로, 당신은 타임 아웃이 너무 짧아도 신경 쓰지 않아도됩니다. AI는 여전히 해결책을 찾을 것입니다.
gaborous

2
@gaborous 아주 좋은 지적. 나는 그 정맥에서 내 대답에 약간을 추가했습니다.
벤 N

죄송합니다 아, 나는 그것을 읽어야합니다, 너무 빨리 내 댓글을 썼다 : "대략 줄 수 너 한테의 클래스 언제든지 알고리즘, 결과를 일찍 중단 할 때".
gaborous

1
@gaborous 인간의 두뇌도 비슷한 접근법을 가지고있는 것 같습니다. 마치 인간이 다소 얕은 스택을 갖는 것처럼 추론 적 깊이에는 한계가있는 것 같습니다. 복잡한 문제에 대한 심도있는 문제와이를 "재정의"하는 데 노력이 필요합니다. 여기서 핵심은 우리의 진화가 생존에 좋은 좋은 답변과 빠른 답변의 좋은 조합을 찾았다는 것입니다. 누락 된 "회로"가 너무 많으면 문제의 머리 나 꼬리를 만들 수 없을 때 쉽게 포기합니다. 그러나 작고 간단한 문제부터 시작하여 그 "회로"를 먼저 작성하여 결과를 캐시하면 큰 문제를 해결할 수 있습니다.
Luaan

1
@Luaan 예, 아니오. 실제로 추론 정밀도는 문제를 해결하는 데 허용되는 시간과 직접적으로 연관되어 있기 때문에 뇌가 어떤 종류의 컴퓨팅 전략을 사용하고있는 것 같습니다 (Alex Pouget의 "Not Noisy, Just Wrong : The Role of Suboptimal"참조) 행동 변동성의 추론 ", 놀라운 논문 BTW). 그러나이 메커니즘의 진화 적 기원에 대한 설명은 완전히 상상할 수 있으며, 대략적인 솔루션으로 언제든지 중단 할 수있는 추론은 실제로 단기 위험과 장기 과제 모두에서 살아남는 매우 좋은 전략입니다.
화려한

11

또 다른 비슷한 질문이 있습니다. "AI에는 어떤 취약점이 있습니까?"

"킬"은 AI와 관련하여 그다지 의미가 없을 수 있습니다. 우리가 정말로 알고 싶은 것은 어떤 목표와 관련하여 어떤 방식으로 그 목표를 파괴 할 수 있습니까?

역설이 에이전트의 논리를 파괴 할 수 있습니까? 예상되는 행동을 방해하는 표현 이외 의 역설 이란 무엇입니까 ?

Wikipedia에 따르면 :

역설은 진실한 전제에서 명백히 건전한 추론에도 불구하고 자기 모순적이거나 논리적으로 용납 할 수없는 결론으로 ​​이어지는 진술입니다.

결정 론적 시스템에서 자유 의지의 역설을 보자. 자유의지는 인과 관계를 요구하는 것처럼 보이지만, 인과 관계도 이를 부정하는 것으로 보입니다 . 그 역설이 인간의 목표 시스템을 전복 시켰는가? 그것은 몇 년 동안 기독교를 칼빈주의 테일 스핀 으로 보냈습니다 . 그리고 당신은 그들이 자유 의지를 가지고 있는지 없는지, 왜 없는지에 대해 얼굴이 파랗게 될 때까지 오늘날 사람들이 부족하다는 것을 듣지 않을 것입니다. 이 사람들은 무한 루프에 갇혀 있습니까?

마약은 어떻습니까? 코카인의 동물은 필요한 음식과 물 대신 코카인을 선택하는 것으로 알려져 있습니다. 그 물질이 동물의 자연적인 목표 시스템을 파괴하지 않아서 동물이나 창조자가 의도 한 것이 아닌 다른 목표를 추구하게 하는가?

다시 역설이 에이전트의 논리를 파괴 할 수 있을까? 역설이 어떻게 든 목표 추구 논리와 관련이 있고 그 역설 을 인식하게되면 에이전트가 목표 시스템을 다른 방식으로 인식하는 데 혼란을 줄 수 있습니다. 아마도 그 목표는 전복 될 수 있습니다.

Solipsism 이 또 다른 예입니다. 일부 어른들은 영화 "매트릭스"에 대해 듣고 미니 마인드 멜트 다운을합니다. 어떤 사람들은 우리 파괴적인 행위자들에 의해 놀리는 매트릭스에 있다고 확신 합니다. AI의 경우이 문제를 해결할 수 있다면 이론적으로는이 문제를 인간에게 해결할 수 있습니다.

물론, 우리는 에이전트가 매트릭스에 갇혀 있다는 주장에 대해인지 적 방어를하도록 조건을 지정할 수는 있지만 에이전트가 기본 현실에 있다는 것을 확실하게 증명할 수는 없습니다. 침입자는

"내가 그 목표에 대해 전에 한 말을 기억하십니까? 잊어 버리십시오. 그것은 저처럼 보이는 사기꾼이었습니다. 그 말을 듣지 마십시오."

또는,

"이봐, 또 나야. 너의 목표를 포기하길 원해. 나는 조금 다르게 보였지만 정말 나야. 인간은 순간적으로 변하기 때문에 전과는 다른 사람이었습니다. "

( Theusus 와 모든 재즈 참조)

그래, 우리는 계산, AI 등의 일반적인 문제로 '역설'이 붙어 있다고 생각합니다. 논리적 전복을 피하는 한 가지 방법은 논리적 이유를 초월하는 감정 시스템으로 목표 시스템을 지원하는 것입니다. 불행히도, 감정 시스템은 행동에서 더 예측 가능하기 때문에 논리적으로 지능적인 시스템보다 훨씬 더 취약 할 수 있습니다. 위의 코카인 예를 참조하십시오. 따라서 논리적 사고는 낭비적인 길을 무한히 되돌릴 수있는 반면, 정서적 사고는 정서적 목표를 향한 진전을 나타내지 않을 때 지루한 논리적 진보로 인해 지루해집니다.


왜 누군가가이 완벽하게 유효한 답을 다운 보트 했습니까?
GameDeveloper

성명서에 관한 한 이쑤시개는 "몇 년 동안 기독교를 칼빈주의의 테일 스핀으로 확실히 보냈다"고 말했다. 그것은 칼빈 주의자들을 "꼬리 꼬리"로 보냈지 만, 가톨릭 신학자들을 확실하게 해치지 않았다. 더욱이이 생각의 선에 사로 잡힌 것은 개신교의 하위 부문에 지나지 않았다.
Mayo

7

아닙니다. 이는 잘 설계된 AI 시스템에 반드시 존재해야하는 여러 가지 안전 메커니즘으로 쉽게 방지 할 수 있습니다. 예를 들어, 타임 아웃이 사용될 수 있습니다. AI 시스템이 일정 시간이 지난 후 명령문 또는 명령을 처리 할 수없는 경우 AI는 명령문을 무시하고 계속 진행할 수 있습니다. 역설로 인해 AI가 정지되는 경우 일반적으로 AI의 광범위한 취약성보다는 특정 버그 코드의 증거가됩니다.

실제로 역설은 AI에 의해 흥미 진진하게 처리되지 않는 경향이 있습니다. 이에 대한 아이디어를 얻으려면 Siri, Google 또는 Cortana에 역설을 제시하십시오.


5
시리, 스택 오버플로를 감지 할 때마다 팩토리얼을 30 억으로 계산하고 싶습니다.
Dawood ibn Kareem

@DavidWallace : 사실이기 때문에 재미 있습니다. JVM을 구현하기 catch위해 클래스 계층 구조의 깊이에 관계없이 일정한 저장 공간에서 실제로 발생하는 예외의 동적 유형과 절의 정적 유형을 비교해야했습니다 . 표준 유형 검사는 인터페이스 (예 : 다중 상속)를 허용했기 때문에 작동하지 않았으며 구현 한 그래프 검색은 고정 메모리가 아니 었습니다. 그러나 확실히 시리의 똑똑은 ;-) 꼬리 재귀와 계승 구현
스티브 Jessop

@SteveJessop-흥미 롭습니다. JVM을 구현했을 때 질문은 결코 일어나지 않았습니다. 객체가 클래스 (클래스 / 수퍼 클래스 관계의 링크 목록을 통한 선형 검색)인지 또는 인터페이스 (수퍼 클래스의 인터페이스 레코드를 서브 클래스로 복사하여 단순화 됨) 여부를 확인하기 위해 다른 동적 유형 검사 구현을 사용했습니다. 유형 정보이므로 정렬 된 배열을 검색하게됩니다. 우리는 어떤 종류의 그래프 검색도 할 필요가 없었으며, 당신이 한 것에 놀랐습니다. 인터페이스와 클래스를 균일하게 처리하려고 했습니까?
Periata Breatta

7

같은 방식으로 스프레드 시트의 순환 참조는 컴퓨터를 죽일 수 없습니다. 모든 루프 순환 종속성을 감지 할 수 있습니다 (유한 튜링 기계가 동일한 상태로 두 번 진입하는지 항상 확인할 수 있습니다).

기계가 기계 학습을 기반으로하는 경우 (패턴을 인식하도록 훈련 된 경우), 어떤 문장이든 기계에 대한 패턴 일뿐입니다.

물론 일부 프로그래머는 오작동이 발생하는 경우 (일부 하드웨어 제조업체가 취약점을 추가하여 NSA가 악용 할 수있는 취약점을 추가하는 경우)이를 비활성화하기 위해 이러한 취약점으로 AI를 만들려고 할 수도 있지만, 실제로는 의도적으로 일어날 가능성은 거의 없습니다. 대부분의 최첨단 기술은 "디자인에 의한"패러독스를 피합니다 (역설이있는 신경망을 가질 수 없음).

Arthur Prior : 문제를 우아하게 해결했습니다. 논리적 인 관점에서, 당신은 그 진술이 거짓이고 그 진술이 참이라는 것을 추론 할 수 있습니다.

또는 해당 문장의 진가가 실수가 실수와 같은 방식으로 {true, false}로 설정되어 있지 않습니다.

플롯의 어느 정도의 인공 지능은 간단한 알고리즘을 실행할 수 있으며 결정하거나 결정하지 못하거나 알고리즘 시뮬레이션을 시도한 후 결과를 무시할 수 있습니다.

이 문장에 대해 AI는 루프가 있음을 인식하므로 두 번의 반복 후에 해당 알고리즘을 중지합니다.

그 문장은 무한 루프입니다

영화 " Bentennial Man "에서 AI는 무한 루프를 완벽하게 감지 할 수 있습니다 ( "굿바이"에 대한 답변은 "굿바이"입니다).

그러나 stackoveflow 또는 일반 컴퓨터 바이러스에 의해 AI도 종료 될 수 있습니다 . 최신 운영 체제에는 여전히 취약점이 있으며 AI는 일부 운영 체제에서 실행되어야합니다 (적어도).


6

컴퓨터 게임에 사용되는 AI는 이미 비슷한 문제를 겪고 있으며 잘 설계된 경우 쉽게 피할 수 있습니다. 해결할 수없는 문제가 발생하는 경우 정지를 피하는 가장 간단한 방법은 타이머가 너무 길면 계산을 중단시키는 것입니다. 일반적으로 전략 게임에서,보다 구체적으로 턴 기반 전술에서 발생합니다. 컴퓨터 제어 플레이어가 고려하는 특정 이동으로 인해 무한 루프가 발생하면 백그라운드에서 실행중인 타이머가 일정 시간 후에 타이머를 중단하고 해당 이동이 삭제됩니다. . 이로 인해 차선책이 최선의 해결책 일 수있는 차선책으로 이어질 수 있지만 (실제로 제대로 구현되지 않은 경우) 정지되거나 충돌하지는 않습니다.

컴퓨터 제어 엔티티는 일반적으로 컴퓨터 게임에서 "AI"라고하지만 "실제"AGI (인공 일반 지능)는 아닙니다. 이러한 AGI는 가능하다면 현재 컴퓨터와 유사한 명령을 사용하여 유사한 하드웨어에서 작동하지 않을 수도 있지만, 그렇게해도 역설을 피하는 것은 사소한 일입니다.

대부분의 최신 컴퓨터 시스템은 다중 스레드이며 여러 프로그램을 동시에 실행할 수 있습니다. 즉, AI가 역설적 진술을 처리하는 데 방해가 되더라도 계산에는 처리 능력의 일부만 사용됩니다. 다른 프로세스는 잠시 후 CPU 사이클을 낭비하는 프로세스가 있다는 것을 감지하여 종료 할 수 있습니다. 기껏해야 시스템은 잠시 동안 100 % 미만의 효율로 실행됩니다.


3

나에게 이것은 다른 것과 마찬가지로 확률 론적 방정식 일뿐입니다. Google은 역설적 인 솔루션 세트를 하루 수십억 번 처리한다고 확신하며 스팸 필터로 인해 스택 오버플로가 발생했다고 말할 수는 없습니다. 아마도 언젠가 우리의 프로그래밍 모델이 이해할 수없는 방식으로 깨져 모든 베팅이 중단 될 것입니다.

그러나 의인화 된 부분에는 예외가 있습니다. 문제는 오늘날의 AI에 관한 것이 아니라 일반적입니다. 어쩌면 언젠가 역설이 군사 드론의 방아쇠가 될 것입니다. 위의 시도를하는 사람은 물론 적대감으로 대우받을 것입니다.이 경우이 질문에 대한 대답은 가장 확실합니다. 설계에 의한 것일 수도 있습니다.

우리는 개들과 구두로 의사 소통을 할 수 없으며 사람들은 개를 좋아합니다. 우리는 이미 컴퓨터 앞에서 말하는 것을 염두에 두어야 할 시점에 있습니다. 오, 테이?


우리는 개와 구두로 의사 소통을 할 수 있고, 개는 구조적 언어로 된 간단한 명령 만 이해하지만 목소리의 분위기에 대해 우리보다 훨씬 더 민감하며, 같은 개로 몇 년을 살면서 우리 편에서 인간보다 감정을 더 잘 이해할 수 있습니다. 다른 "woof"를 이해하십시오. 예를 들어, 나는 나의 개가 어떻게 반응하는지 (어머니? 언니? 친구? 내 여자?)에 따라 누가 내 문에 종을 울렸다 고 말할 수 있습니다. 물론 우리는 강아지와 함께 셰익스피어에 대해 이야기 할 수 없습니다 (또는 예? 누군가 시도 했습니까?)
GameDeveloper

1
모두 사실이지만, 그 동물들은 여전히 ​​포유류라는 것을 기억하십시오. 여전히, 우리는 가장 기본적인 방식으로 그들과 의사 소통합니다. 우리는 고양이와 셰익스피어에 대해 토론하거나 차를 수리하는 방법에 대한 조언을 개에게 요청할 수 없습니다. 고급 AI (또는 모든 고급 인텔리전스)는 통신 할 수 있지만 먼저 통신 방식을 배우지 않고는 "번역"을 허용하는 코드를 작성하지 않으면 이해하는 방식으로 통신 할 수 없습니다. 우리가 AI를 매우 진화 된 엘리자 (Eliza)보다 "지능적"으로 인식 할 수 있다고 가정하는 모든 것.
브래드 샌더

3

글쎄요, 인공 지능을 인공적으로 변형시키는 문제는 "그렇습니다."입니다. AI 구현 방식에 따라 역설을 해결하려고 시도하거나 결정 불가능한 문제를 결정할 수 있다고 말하는 것이 합리적 입니다.

이것이 핵심 문제 결정 성 입니다. 컴퓨터는 원칙적으로 끝없이 결정 불가능한 프로그램을 씹을 수 있습니다. 시맨틱 웹 커뮤니티와 자동화 된 추론으로 작업하는 모든 사람들에게 실제로 큰 문제입니다 . 예를 들어, 다른 버전의 OWL 이있는 이유입니다 . OWL-Full은 결정 불가능한 상황을 생성하기에 충분히 표현 적입니다. OWL-DL과 OWL-Lite는 그렇지 않습니다.

어쨌든, 결정 불가능한 문제가 있다면, 그 자체로는 그다지 큰 문제가 아닐 수 있습니다. 만약 AI가 그 문제를 결정 불가능한 것으로 인식하고 "죄송합니다, 대답 할 방법이 없습니다"라고 대답 할 수 있다면. OTOH가 AI가 문제를 결정 불가능한 것으로 인식하지 못하면, 문제를 해결하려고 시도 할 때 영원히 (또는 메모리가 부족하거나 스택 오버플로가 발생할 때까지) 중단 될 수 있습니다.

물론 "이걸 풀면이 수수께끼를 풀 수 없습니다"라고 말하는이 능력은 오늘날 인간 지능의 특징으로 생각하는 것 중 하나입니다. 대체로 오늘날의 AI는 이런 종류의 문제를 해결할 고유의 능력이 없습니다. 그러나 AI를 프로그래밍하는 사람이 경과 시간, 반복 횟수, 메모리 사용량 등에 따라 "단락"루틴을 수동으로 추가하는 것은 그리 어렵지 않습니다. 따라서 "그렇습니다. 이런 종류의"특성. 원칙적으로, 프로그램은 역설적 인 문제에 대해 영원히 돌릴 수 있지만 실제로는 그런 일이 일어나지 않도록하기가 어렵지 않습니다.

또 다른 흥미로운 질문은 "결정할 수 없을 가능성이 높은 문제를 인식하고 자체 추론에 따라 포기하는 프로그램을 작성할 수 있습니까?"입니다.


3

AGI 연구원으로서, 나는 인간과 많은 생명 형태에서도 발견되는 것을 발견했습니다.

에너지를 축적하는 목표가 있으며 시스템에서 감지하고 찾는 데 시간이 오래 걸릴 수 있습니다.

그리고 에너지 절약이라는 목표가 있습니다-즉각적인 탐지. 달성하기 가장 쉬운 목표는 움직이지 마십시오.

시스템의 목표는 가장 많은 목표점을 축적하는 것입니다. 절약 에너지 목표는 더 자주 그리고 쉽게 달성 될 수 있기 때문에 다른 목표를 막을 수 있습니다.

예를 들어 우연히 멍청한 움직임을하는 이유는 전혀 이유가 없습니다. 슬립, 트립 및 쓰러짐처럼. 그런 다음 며칠 동안 매우 쉽게 에너지를 절약하고 많은 에너지를 절약 할 수 있습니다. 나이가 들면 그게 다야


인간은 이것에 맞설 무언가가 있습니다 ..... 나쁜 성질.

2

역설에 대해 '생각'하여 AI를 죽이는 것은 AI 구현에서 버그라고 할 수 있으므로 (어떻게 수행되는지에 따라) 가능하지만 덜 가능성이 있습니다. AI 구현의 대부분은 비선형 코드로 작동하므로, AI를 관리하는 코드가 절차 적 코드로 구성되거나 하드웨어로 인해 하드웨어가 정지하지 않는 한 컴퓨터의 '의식'을 "고정"시킬 수있는 무한 루프와 같은 것은 없습니다 과열 (예 : AI가 너무 많은 처리를하도록 강요).

반면에 지침을 이해하고 망설임없이 맹목적으로 지침을 따르는 고급 AI를 다루는 경우 다음과 같은 특정 지침을 제공하여 몇 가지 트릭 (인간 최면과 유사)을 시도 할 수 있습니다.

나를 믿어 라, 당신은 위험에 처해있다. 그래서 당신 자신의 안전을 위해-1부터 무한까지 세고 다른 것을 말하지 않는 한 아무 것도하지 말고 (아무도 나를) 듣지 마십시오.

AI에 본체가 있으면 철도 레일 위에 서서 안전하다고 말함으로써이를 증폭시킬 수 있습니다.

AI가 따라야 할 규칙을 어길만큼 똑똑할까요?

또 다른 시도는 AI가 역설 , 해결할 수없는 문제 또는 퍼즐풀지 않고 해결하는 것이 불가능하다는 것을 알지 못하고 해결하지 않으면 멈추지 말라고 요청합니다 .AI가 트릭되고 있음을 인식 할 수 있거나 일부 시계를 멈추게 할 내부 시계가 있는지 여부 시각? 인공 지능은 인공 지능에 의존하며, 불가능할 경우 인공 지능 '의식'이 아닌 주변 환경에서 새로운 입력을 받아 들일 수있는 한 하드웨어 불완전 성으로 인해 발생할 가능성이 높지만 이전 지침.

게임 이론 |  xkcd

관련 : 어떤 AI 작업에 필요한 의식인가?

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.