전문가는 해롭습니까?


15

내가 읽고 있어요 "인공 지능 연구에서 체스의 역할" ( PDF 파일 ) 흥미롭게도, 그것은 말합니다 :

경험 [...]은 체스 전문가의 의견은 일반적으로 유용하지만 완전히 신뢰할 수는 없다고 제안합니다.

이에 대한 좋은 예는 Deep Thought의 평가 기능입니다. 유능한 인간 체스 전문가에 의한 몇 가지 변화는 크게 개선되지 않았으며 때로는 기계 성능에 부정적인 영향을 미쳤습니다.

여기에서 인간 전문가는 전문 지식과 함께 자신의 편견을 프로그램에 도입했습니다. 이 문제를 해결하는 한 가지 방법은 프로그램에 허용되는 전문가 입력의 유형과 양을 제한하는 것입니다. 다른 사람은 거의 "지식이없는"기계를 가지고 있습니다.

  • 현대의 연구와 실습에서 이것이 얼마나 사실입니까?
  • 그것은 큰 문제입니까, 아니면 체스 게임과 관련이 있습니까?

3
NLP에는이 효과에 대한 유명한 인용이 있습니다. 의 라인을 따라 뭔가 "나는 언어 학자 불 때마다, 내 시스템의 성능이 향상"
아르 템 Kaznatcheev

3
Atilla의 답변은 크게 정확하지만 (설명으로 제공하는 자격으로), 체스의 특정 사례에서는 Deep Thought이 체스 전문가와 매우 다르게 체스를 수행한다는 사실을 간략하게 언급했다고 생각했습니다. Deep Thought은 많은 움직임을 미리 계산합니다. 전문가들은 몇 가지 동작 만 계산할뿐 아니라 이전에 경험 한 게임과 결과 를 기억 하는 계산 바로 가기도 사용합니다 . 이 기억은 게임에 정서적 인 경험을 오버레이하는 암시 적 패턴 인식을 통해 나타납니다.
마이크 로렌스

답변:


11

나는 이것이 엔지니어링 문제 해결에 관한 것이라고 생각합니다. 대부분의 성공적인 엔지니어링 프로젝트는 전문가 추론이나 전문가의 본성을 정확하게 복제하지 않습니다. 그들은 다른 방식으로 문제를 해결했습니다.

예를 들어 세탁기는 인간과 다른 기술을 사용하고 비행기는 조류와 다른 역학을 사용합니다.

Expert Reasoning을 복제하는 경우 입력은 모두 입니다. 그러나 다른 기술 (빠른 검색, 거대한 메모리 ...)을 사용하여 동일한 문제를 해결하는 경우 입력은 도움 이됩니다 .


내가 당신과 동의하지만,이 논리가 너무 명백한 것 같습니다, 죄송합니다 :)이 논문에서 그들은 전문가는 "자신의 편견 도입"라고 보인다 구현 오해보다 조금 더.
andreister

물론 그들은 컴퓨터의 관점과는 매우 다른 자신의 방식으로 세계를 볼 수 있기 때문에 좋은 것과 나쁜 것을 모두 입력합니다.
Atilla Ozgur

7
나는 전문 지식이 종종 자동화되어 의식 검사에 불투명하게 될 수 있다고 생각할 필요가 있다고 덧붙였다. 따라서 전문가들은 종종 전문가의 성과를 달성하기 위해 취하고있는 정보 처리 단계를 구두로 인식하지 못하는 경우가 있습니다.
마이크 로렌스

3

이러한 문제는 판단이 필요한 다양한 분야에서 일반적입니다.

Makridakis, Wheelwright 및 Hyndman Forecasting의 " 판단 예측 및 조정 " 장 : 방법 및 응용 프로그램 에는 때로는 매우 단순한 시스템의 성능을 수행하는 전문가 판단에 대한 비슷한 이야기가 있습니다.

의료 영역에서 '계리 적'방법에 대한 전문가 판단의 실패에 대한 논문 (Dawes et al (1989) "Clinical vs Actuarial Judgement" Science , Vol 243, No 4899, p1668-74)이 기본적으로 상당히 단순하다. 통계 모델.

반면, 보험 계리 문헌 에는 실무자들이 전문가 판단이 가장 중요한 것으로 간주되는 분야에서 특정 문제에서 '소음'과 전문가 판단의 불일치에 관한 논문 있습니다.

Makridakis 등은 예측과 관련하여 많은 분야에서 전문가의 판단에 실패한 것에 대해 논의하고 있으며, 귀중한 조언이 많이 포함되어 있습니다.

계속됩니다. 인지 편향이 많고 인간 전문가들은 다른 모든 사람들과 함께 고통을 겪습니다.


3

전문가의 유해 여부에 대한 문제는 확실히 체스 게임에 국한된 문제가 아닙니다.

통화 정책위원회 (MPC)의 최적 설계에 관한 문헌에서 흥미로운 질문은위원회에 중앙 은행의 정규직 직원이 아닌 외부 전문가를 포함시켜야하는지 여부입니다.

이를 관점에서 살펴 보려면 먼저 Bank of England의 MPC를 고려하십시오. 은행의 내부 임원 5 명과 외부 전문가 4 명으로 구성되어 있습니다. 반면, 연방 준비 은행은 은행 직원으로 만 구성된위원회를 사용합니다.

영국 은행 내부에서 얻은 정보에 전문 지식과 추가 정보를 가져 오는 것으로 여겨지는 외부 전문가 회원은 영국 은행 MPC에 포함됩니다.

그렇다면 어떤 MPC 디자인이 더 낫습니까? 전문가입니까, 전문가입니까?

글쎄,이 분야의 연구는 여전히 활발하고 최근 Hansen & McMahon (2010) 에 의해 조사되었다 . 이 "전문가위원회"에 대한 자세한 내용은이 백서에서 언급 한 참고 문헌을 참조하십시오.

이것이 큰 (중요한) 문제입니까? MPC의 결정이 경제에 미칠 수있는 영향을 고려할 때 이것은 매우 중요한 문제라고 생각합니다!

마지막으로, 통화 정책 결정은 이론적으로 컴퓨터에 위임 될 수 있다고 언급해야합니다. 예를 들어, 컴퓨터는 간단한 통화 정책 규칙 을 구현하도록 프로그래밍 될 수있다 . 예를 들어, 약속 중 하나입니다. 통화 정책 규칙이 컴퓨터에 프로그래밍 된 후 전문가 입력이 제거됩니다. 통화 정책에서의 컴퓨터 사용은 Svensson (1999)에 언급되어 있습니다.

참조 : Stephen Eliot Hansen & Michael McMahon, 2010. "외부 전문가들이위원회에 가져 오는 것은? 영국 은행으로부터의 증거."

Lars EO Svensson, 1999. "가격 안정화 시대에 통화 정책은 어떻게 시행되어야 하는가?"


3

열쇠는 일관성이라고 생각합니다. 전문가는 특정 지식뿐만 아니라 해당 지식이 작동하는 시스템을 보유하고 있습니다. 그들은 전략이 존재하고 진화하는 전반적인 전략 인 페르소나를 가지고 있습니다.

어떤 의미에서, 체스를하는 컴퓨터 프로그램은 다양한 몸 (프로그래머, 전문가 등)의 매시업으로 만들어진 프랑켄슈타인의 괴물이다. 따라서 한 전문가의 조언이 존재하는 시스템과 잘 맞지 않는다는 것은 놀라운 일이 아닙니다.

나는 전문가들이 그들이하는 일을 어떻게 알지 못한다는 다른 의견에 동의한다. 어떤 경우에, 인간이기 때문에, 그들의 의식적인 마음은 그들이 왜 특정한 결정에 도달했는지에 대한 그럴듯한 이야기를 구성합니다. 그러나 나는 여전히 프로그래밍 팀에 대한 전문가의 조언은 항상 맥락에 맞지 않는다고 생각합니다 (즉, 프로그램의 디자인과 역사의 맥락과 일치하지 않습니다).

편집 : 여기에 보강 바이어스가있을 수 있습니다. 강화 바이어스를 설명하는 좋은 링크를 찾을 수 없지만 용어를 이해하는 방식은 일반적으로 간접적으로 모델의 이전 결과를 대상으로 사용하여 감독 된 모델을 업데이트 (수정) 할 때 얻는 효과입니다. 확인 바이어스와 비슷하지만 간접적 인 수준이 관련됩니다. 인간 전문가들은 강화 Biases를 가지고 있으며, 이는 영향을 미칠 수 있습니다.


마지막 문장을 이해하고 있는지 잘 모르겠습니다. 흥미로운 점입니다. 좀 더 자세히 설명해 주시겠습니까?
Michelle

@Michelle : 주제 전문가의 조언으로 개선하고자하는 프로그램에는 이미 고유 한 맥락 (원래 디자인, 프로그래머, 이전 전문가 등)이 있습니다. 우리가 통합하려는 조언은 다른 맥락에서 왔으며 프로그램이 이미 가지고있는 맥락과 잘 맞지 않을 수도 있습니다. 내 마지막 진술은 실제로 새로운 입력이 이미 확립 된 (프로그램의 맥락에서) 작동하지 않을 것이라고 말하려는 시도였습니다.
Wayne
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.