인공 지능은 해킹에 취약합니까?

적대적 환경에서의 딥 러닝의 한계 백서 에서는 신경망이 훈련하는 데이터 세트를 조작 할 수있는 공격자가 신경망을 손상시키는 방법에 대해 설명합니다. 저자는 필기 네트워크를 학습하기 위해 신경 네트워크를 실험하여 신경 네트워크가 학습 된 필기 숫자 샘플을 왜곡하여 읽기 기능을 손상시킵니다.

악의적 인 행위자가 AI 해킹을 시도 할 수 있을지 걱정됩니다. 예를 들어

• 정지 신호 대 속도 제한을 잘못 해석하기 위해 자율 주행 차량을 속이는 행위.
• ATM과 같은 얼굴 인식을 우회합니다.
• 스팸 필터를 우회합니다.
• 영화 리뷰, 호텔 등의 바보 감정 분석
• 이상 감지 엔진 우회
• 가짜 음성 명령.
• 기계 학습 기반 의료 예측을 잘못 분류합니다.

세상을 방해 할 수있는 어떤 적대적인 영향? 어떻게 예방할 수 있습니까?

AI는 내가 보는 방식에 따라 두 가지 보안 관점에서 취약합니다.

1. AI를 실행하는 컴퓨터에서 일종의 코드 실행을 달성하거나 데이터를 추출하기 위해 완전한 프로그래밍 오류를 이용하는 고전적인 방법입니다.

2. 시스템이 처리하도록 설계된 특정 형태의 데이터에 대한 AI 착시와 동등한 속임수.

첫 번째는 다른 소프트웨어와 같은 방식으로 완화해야합니다. AI가 다른 소프트웨어보다이 분야에서 더 취약한 지 확실하지 않습니다. 복잡성이 위험을 약간 높일 수 있다고 생각합니다.

두 번째는 아마도 다른 답변 중 일부에서 언급 한대로 시스템을 신중하게 세분화하고 시스템을보다 상황에 민감하게 만드는 것이 가장 좋습니다. 많은 적대적 기법은 진공 상태에서 평가되는 입력에 의존합니다.

프로그래머 대 프로그래머

"무한대 전쟁": 프로그래머 대 프로그래머. 모든 것이 해킹 될 수 있습니다. 예방은 보안을 담당하는 전문가 및 응용 프로그램 보안 프로그래머의 지식 수준과 연결됩니다.

예를 들어 , Sentiment Analysis에 의해 생성 된 메트릭을 엉망으로 만드는 사용자를 식별하는 몇 가지 방법이 있지만 이러한 단계를 우회하는 방법도 있습니다. 꽤 지루한 싸움입니다.

에이전트 대 에이전트

@DukeZhou가 제기 한 흥미로운 점은 두 가지 인공 지능 (에이전트)이 포함 된이 전쟁의 진화입니다. 이 경우 전투는 가장 지식이 많은 것 중 하나입니다. 가장 잘 훈련 된 모델은 무엇입니까?

그러나 취약성 문제에서 완벽을 달성하기 위해 인공 지능 또는 인공 슈퍼 지능은 인간을 우회하는 능력을 능가합니다. 마치 오늘날까지의 모든 해킹에 대한 지식이 이미이 에이전트의 마음에 존재했던 것처럼 그는 자신의 시스템을 우회하고 보호를 개발하는 새로운 방법을 개발하기 시작했습니다. 복잡 하죠?

"인간이 얼굴을 밝히지 않고 사진을 사용할 것인가?"라고 생각하는 AI를 갖기가 어렵다고 생각합니다.

우리가 그것을 막을 수있는 방법

항상 사람이 기계를 감독하도록하지만 100 % 효과적이지는 않습니다. 이것은 에이전트가 자신의 모델 만 개선 할 수있는 가능성을 무시합니다.

결론

그래서 시나리오가 이런 식으로 작동한다고 생각합니다. 프로그래머는 AI의 유효성 검사를 우회하려고 시도하고 IA 개발자는 로그를 통해 지식을 습득하고 실패 가능성을 줄이기 위해 더 똑똑하고 안전한 모델을 만들려고합니다.

어떻게 예방할 수 있습니까?

AI 검증에 관한 몇 가지 작품이 있습니다. 자동 검증기는 신경망의 견고성을 입증 할 수 있습니다. 이는 NN의 입력 X가 주어진 한계 ε (일부 메트릭, 예를 들어 L2)에서 섭동하지 않는 경우 NN에 동일한 응답을 제공함을 의미합니다.

이러한 검증자는 다음에 의해 수행됩니다.

• 스탠포드 : https://arxiv.org/pdf/1702.01135.pdf
• ETHZ : https://www.sri.inf.ethz.ch/papers/sp2018.pdf
• Google : https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
• 보쉬 : https://arxiv.org/pdf/1805.10265.pdf

이 접근 방식은 신경망의 견고성 속성을 확인하는 데 도움이 될 수 있습니다. 다음 단계는 견고성이 요구되는 신경망을 구축하는 것입니다. 위의 논문 중 일부에는 그 방법도 포함되어 있습니다.

신경망의 견고성을 향상시키는 여러 가지 기술이 있습니다.

• 대적 훈련 (예 : A. Kurakin et al., ICLR 2017 참조 )

• 방어 증류 (예 : N. Papernot et al., SSP 2016 참조 )

• MMSTV 방어 ( Maudry et al., ICLR 2018 ).

적어도 마지막 것은 NN을 더욱 강력하게 만들 수 있습니다. 더 많은 문헌은 여기 에서 찾을 수 있습니다 .

시스템이 안전하지 않다고 생각하지만 20-30 년의 AI 개발 / 진화 후에도 여전히 말할 수 있는지 확신 할 수 없습니다. 어쨌든, 인간이 AI (컴퓨터 비전)를 속이는 것을 보여주는 기사가 있습니다.

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

인공 지능이 해킹에 취약합니까?

잠시 질문을 뒤집고 다음을 생각하십시오.

AI를 다른 종류의 소프트웨어와 비교할 때 해킹 위험이 적은 이유는 무엇입니까?

하루가 끝나면 소프트웨어는 소프트웨어이며 항상 버그와 보안 문제가 있습니다. AI는 AI 이외의 소프트웨어로 인해 발생할 수있는 모든 문제에 위험에 처해 있습니다. AI는 어떤 종류의 면역성을 부여하지 않기 때문입니다.

AI 관련 변조에 대해서는 AI가 허위 정보를 제공받을 위험이 있습니다. 대부분의 프로그램과 달리 AI의 기능은 소비하는 데이터에 따라 결정됩니다.

실제로 몇 년 전에 Microsoft는 Tay라는 AI 챗봇을 만들었습니다. 트위터 사람들은 "우리는 벽을 쌓고 멕시코는 그것을 지불 할 것"이라고 말하는데 24 시간도 걸리지 않았습니다.

(아래 링크 된 Verge 기사에서 가져온 이미지에 대해서는 크레딧이 없습니다.)

그리고 그것은 빙산의 일각에 불과합니다.

테이에 관한 기사 :

• BBC
• 더 버지

이제 채팅 봇이 아니라고 상상해보십시오. AI가 자동차 탑승자를 죽이지 않거나 (예 : 자율 주행 차) 환자를 죽이지 않는 것과 같은 일을 담당하는 미래의 중요한 AI라고 생각하십시오. 수술대 (예 : 의료 보조 장비).

물론, 그러한 인공 지능이 그러한 위협에 대해 더 잘 보호되기를 희망하지만 누군가가 그러한 인공 지능을 대량의 허위 정보에 공급할 수있는 방법을 찾지 못했다고 가정하면 (최고의 해커는 흔적을 남기지 않습니다.) 삶과 죽음의 차이.

자율 주행 자동차의 예를 사용하여, 잘못된 데이터로 인해 자동차가 고속도로에서 비상 정지를해야한다고 생각할 수 있는지 상상해보십시오. 의료 인공 지능의 응용 프로그램 중 하나는 응급실에서의 사망 또는 사망 결정입니다. 해커가 잘못된 결정에 찬성하여 비늘을 기울일 수 있는지 상상해보십시오.

어떻게 예방할 수 있습니까?

궁극적으로 위험의 규모는 인간이 AI에 얼마나 의존하는지에 달려 있습니다. 예를 들어, 인간이 인공 지능의 판단을 내렸다가 결코 의문을 제기하지 않으면 모든 종류의 조작에 개방적 일 것입니다. 그러나 그들이 AI의 분석을 퍼즐의 일부로 사용한다면, AI가 잘못되었을 때, 우발적이거나 악의적 인 수단을 통해 발견하기가 더 쉬워 질 것입니다.

의료 의사 결정자 인 경우 AI를 믿지 말고 신체 검사를 실시하고 사람의 의견을 구하십시오. 두 의사가 AI에 동의하지 않으면 AI 진단을 내립니다.

자동차의 경우 한 가지 가능성은 무엇을해야하는지 본질적으로 '투표'해야하는 여러 중복 시스템을 보유하는 것입니다. 어떤 시스템에 어떤 조치를 취해야하는지 투표해야하는 별도의 시스템에 여러 개의 AI가있는 경우 해커는 하나 이상의 AI를 제어하여 교착 상태를 유발하거나 교착 상태를 유발해야합니다. 중요한 점은 AI가 다른 시스템에서 실행 된 경우 한 시스템에서 사용 된 것과 동일한 악용을 다른 시스템에서 수행 할 수 없어 해커의 작업 부하가 더욱 증가한다는 것입니다.

나는 시스템이 완전히 안전하지 않다는 Akio와 동의하지만, AI 시스템은 기존 시스템과 비교할 때 지속적으로 개선하는 능력으로 인해 공격에 덜 취약합니다.

시간이 지남에 따라 더 많은 사람들이 현장에서 새로운 아이디어를 가져오고 하드웨어가 개선되어 "강력한 AI"가 될 것입니다.

인공 지능은 해킹에 취약합니까?

힌트; AI가 취약하다고 말하면, 나는 그런 진술에 의해 여기에 동의하지 않습니다. 인공 지능은 우리가 겪어야하는 3 가지 범주 또는 단계로 나뉩니다.

• 인공적인 좁은 지능

• 인공 일반 지능

• 인공 슈퍼 지능

그러므로, 당신의 진술에 따라; "악의적 인 행위자가 AI를 해킹하려고 시도 할까 걱정됩니다 ....."

메시지 본문의 예제에 따르면 인간 해커가 인공 지능의 수준에 있으며 인간 해커가 자신의 / 악성 코드를 왜곡 하여이 수준에서 이러한 응용 프로그램에 침입 할 수 있습니다. 지성; 그런 다음 인간은 슈퍼 지능형 소프트웨어 프로그램이나 하이테크 슈퍼 지능형 에이전트를 침입하거나 해커가 될 수 없습니다. 예를 들어; 인간의 해커는 한 번에 한 가지 일을한다. 인공 지능이 그 초점을 나누고 많은 직원을 동시에하는 것을 막을 수있는 것은 아무것도 없다.

당신의 정보를 위해

미디어는 일반적으로 AI에 대해 말씀에 의해 흡수되지 않는, 단순히 때문에 그들은 큰 일이 일어날 것을 모르는 것은 새로운 종 그 경쟁 인간 아웃

첨단 기술인 새로운 사회에 살고 있다고 상상해보십시오. 아웃 확인 사이버 그랜드 도전

그 행사를 놓쳤다면 죄송합니다.

모든 유형의 지능은 DNA 기반이든 인공적이든 해킹에 취약합니다. 먼저 해킹을 정의 해 봅시다. 이러한 맥락에서, 해킹은 상태, 재정적 이익, 사업 또는 정부의 혼란, 강탈에 사용될 수있는 정보, 사업 거래 또는 선거에서 우위를 차지하거나 다른 형태를 포함 할 수있는 특정 목적을 달성하기위한 약점을 악용하는 것입니다. 제어 또는 조작

다음은 뇌 해킹 전략과 일반적인 목표의 예입니다. 이들 각각은 디지털 시스템에 해당합니다.

• 정부 선전-예측 가능한 준수
• 사기 — 돈
• 스푸핑 — 유머러스 한 대중 반응
• 롤 플레이-액세스 권한을 얻거나 조작 할 수있는 신뢰 확보
• 통증 센터 — 소득 증가를위한 중독 이용

일부는 지적 소프트웨어 실체가 인간과 사회 구조를 해킹하여 자신의 목표를 달성 할 수있는 The Singularity에 대해 우려하고 있습니다. 인간이 다른 인간의 지능 요원을 해킹 할 수 있다는 것도 또 다른 가능성입니다. 훈련 데이터가 유일한 공격 지점이라고 생각하지 않습니다.

• 감지하기 어려운 방식으로 매개 변수 행렬을 덮어 쓸 수 있습니다.
• 강화 신호가 변경 될 수 있습니다.
• 입력 순열에서 알려진 오류 포켓을 이용할 수 있습니다.
• 디지털 시스템의 결정 론적 특성은 훈련 된 시스템을 복제하고 네트워크를 통해 시스템을 실행하기 전에 오프라인으로 취약성 지점을 찾아 다른 심층 학습자가 이용할 수 있습니다.

질문에 나열된 가능성은 고려할 가치가 있지만 이것은 내 버전의 목록입니다.

• 약국 또는 병원에서 AV 오작동 또는 스푸핑 식별 시스템으로 인한 살인
• 대금을 지불하지 않은 수령인에게 대량의 배송 제품 전환
• 특정 집단의 개인을 소외시킴으로써 사회 집단 학살

이를 방지 할 수있는 유일한 방법은 글로벌 멸종 사건을 기다리는 것이지만이를 완화 할 수있는 방법이있을 수 있습니다. UNIX 시스템에서 취약점을 찾기 위해 프로그램 satan이 작성된 것처럼, 지능형 시스템은 다른 지능형 시스템에서 취약점을 찾기 위해 고안 될 수 있습니다. 물론 프로그래밍 모델과 기존의 정보 시스템을 보안을 염두에두고 설계 할 수있는 것처럼, 취약성을 첫날부터 합리적으로 가능한 정도로 줄일 수있는 것처럼 AI 시스템도 그러한 목표를 염두에두고 설계 할 수 있습니다.

시스템의 정보 경로를 따르고 경로의 어느 지점에서나 신호를 읽거나 쓰는 방법을 고려하면 해당 액세스 지점을 사전에 보호 할 수 있습니다. 분명히,이 질문에서 언급 된 경우 훈련에 사용할 데이터를 수집 할 때주의를 기울여야하며, 정보 경로를 따라 적절한 암호화가 필요하며 권한이없는 사람에게 물리적 액세스 권한이 부여되지 않도록해야합니다. 이러한 우려와 기회로 인해 발생하는 대책.

AI를 해킹하는 방법에는 여러 가지가 있습니다. 어렸을 때 체스 컴퓨터를 때리는 방법을 알아 냈습니다. 일단 당신이 그것을 악용 할 수 있다는 것을 알게되면 항상 같은 패턴을 따랐습니다. 세계 최고의 해커는 4 살짜리이며 부모님의 패턴을 확립 할 때까지 다른 일을 시도하는 것을 원합니다. 어쨌든 AI에게 AI의 패턴을 배우고 주어진 조합을 통해 결과를 파악할 수 있습니다. 의도적으로 또는 우연히 코드에 명백한 결함이나 백도어도 있습니다. AI가 스스로 해킹 할 가능성도 있습니다. 오작동이라고합니다. 작은 아이를 다시 기억하십시오 ...

BTW의 간단한 방법은 AI가 항상 안전하지 못하게하는 것입니다.