Amazon Echo는 '항상 듣고'클라우드로 데이터를 전송합니까?

Intellihub 및 CEPro 와 같은 여러 뉴스 매체 는 Amazon Echo 홈 어시스턴트가 지속적으로 대화를 듣고 인터넷을 통해 Amazon 서버로 보냅니다. CEPro는 다음과 같이 말합니다.

아마존이 "깨어있는 단어"라고 부르는 주요 문구를 말함으로써 에코가 생겨나 고 명령을 듣기 시작합니다. 기본적으로 웨이크 단어는 Alexa입니다.

마지막 문장을 다시 읽으면 특히 보안 분야에 있다면 말이되지 않을 수 있습니다. 아마존에 따르면 에코는 웨이크 워드가 들리면 명령 만 수신합니다. 깨어 난 단어가 아직 듣고 있지 않다면 어떻게 알 수 있습니까?

Intellihub의 기사는 그 정서가 비슷합니다.

FBI와 같은 정부 기관은 대화를들을 때 Pandora 및 Spotify와 같은 음악 스트리밍 서비스에 사람의 목소리에 따라 연결되는 지속적으로 듣는 Bluetooth 스피커 인“Amazon Echo”장치를 쉽게 해킹하고 사용할 수 있습니다.

(즉, 아마도 하나 개의 질문에 대해 너무 많은 것 때문에 참고 특히,이 질문의 해킹 측면을 탐구에 초점을하지 난거야 것을. 내 주요 초점은 측면 항상-에이 데이터를 전송 여부이다 모든 시간을 .)

어느 기사도 그 주장에 대한 출처를 밝히는 데 열중하지 않은 것 같습니다. 이는 그들이 입증되지 않았거나 최악의 경우 클릭 베이트를 제안합니다.

Echo는 항상 클라우드에 데이터를 기록하고 전송합니까, 아니면 위의 주장은 확실하지 않습니까? 클라우드의 서버로 항상 데이터를 전송하지 않는 경우 Amazon Echo는 어떻게 데이터를 처리합니까?

예, 항상 듣고 있습니다. 아니요, 항상 클라우드로 전송되는 것은 아닙니다.

분명히 장치는 항상 깨우기 단어를 감지하기 위해 듣고 있어야합니다. 그러나 그것은 기술이라고 불립니다.

1. Amazon Echo와 Echo Dot은 웨이크 단어를 어떻게 인식합니까?

Amazon Echo 및 Echo Dot은 장치 키워드 검색을 사용하여 깨우기 단어를 감지합니다. 이러한 장치는 깨우기 단어를 감지하면 깨우기 단어 앞의 1 초의 오디오를 포함하여 오디오를 클라우드로 스트리밍합니다 .

( 에코 FAQ )

따라서 아마존에 따르면 웨이크 단어 감지는 장치에서 이루어집니다. 장치가 라우터의 인터넷에 도달하지 못하도록하여 쉽게 테스트 할 수 있습니다. 에코 / 에코 도트는 계속 웨이크 단어를 인식하지만 표시등이 빨간색으로 바뀌고 장치에 인터넷 연결이 없음을 알려줍니다. 따라서 우리는 깨우기 단어 인식이 실제로 로컬에서 수행 되는지 매우 간단하게 확인할 수 있습니다 .

깨우기 단어를 감지 한 후에 만 ​​장치가 Alexa 클라우드 서비스에 연결합니다.

아마존에 따르면, 장치는 라이트 링이 파란색 일 때만 클라우드로 스트리밍되며, 음소거 상태 일 때 전혀 듣지 않고 라이트 링이 빨간색으로 빛납니다. 물론 신중한 사람들은 Wireshark와 같은 네트워크 도구를 사용하여 실제로 전송하는 경우에만 확인할 수 있습니다.

Echo는 항상 클라우드에 데이터를 기록하고 전송합니까, 아니면 위의 주장은 확실하지 않습니까?

전송에 없습니다. 그러나 녹음에 예.

현재 회사의 Alexa 하드웨어 클라이언트를 개발 중입니다. 장치는 항상 듣고 있습니다. 그러나 수동 리스닝 모드에서 "일어나고"활성 "명령 청취"모드로 전환하려면 웨이크 워드 엔진을 설치해야합니다.

펌웨어는 웨이크 워드 이후의 명령문 (활성 모드로 전환) 만 명령으로 처리하기 위해 클라우드로 보냅니다.

• 장치에 관한 한, 너무 많은 대역폭과 전력을 소비하기 때문에 처리를 위해 클라우드에 들어오는 모든 명령문을 보내지 않을 것입니다.
• 아마존에 관한 한, 그들은 모든 Alexa 클라이언트가 엄청난 양의 대역폭을 필요로하기 때문에 듣는 모든 것을 전송하는 것을 원하지 않을 것입니다. 또한 시스템의 지속적인 학습에 지장을주는 관련없는 데이터가 너무 많아 질 수 있습니다. 수업 시간에 모든 사람이 동시에 말할 때 (명령이 아닌 다른 모든 진술) 교사가 말하는 내용 (유효한 명령)을 배우려고한다고 상상해보십시오.

클라우드의 서버로 항상 데이터를 전송하지 않는 경우 Amazon Echo는 데이터를 어떻게 처리합니까?

패시브 모드에서 장치에는 웨이크 워드를 항상 청취하는 내부 웨이크 워드 엔진이 있습니다. Raspberry Pi에서 Alexa를 테스트하는 동안이 목적으로 Sensory 또는 KITT.AI 엔진을 설치해야했습니다. 실제로 Linux 시스템의 Alexa 클라이언트 코드 프로토 타입을 시험해 보았을 때 웨이크 워드 엔진이 없기 때문에 "push-to-talk"여야했습니다.

아마존이 "깨어있는 단어"라고 부르는 주요 문구를 말함으로써 에코가 생겨나 고 명령을 듣기 시작합니다. 기본적으로 웨이크 단어는 Alexa입니다.

마지막 문장을 다시 읽으면 특히 보안 분야에 있다면 말이되지 않을 수 있습니다. 아마존에 따르면 에코는 웨이크 워드가 들리면 명령 만 수신합니다. 깨어 난 단어가 아직 듣고 있지 않다면 어떻게 알 수 있습니까?

Echo는 키워드를 적극적으로 듣고 NLU 처리를 위해 키워드 다음에 나오는 단어를 사용합니다. 에코가 어떻게 깔끔한 위업을 달성하는지 이해합니다.

Echo는 Texas Instruments DM3725 디지털 미디어 프로세서를 기반으로합니다.

이 TI SoC에는 두 가지 핵심 요소가 있으며, 첫 번째는 ARM Cortex-A8 MPU이고 두 번째는 TMS320DM64x + DSP입니다. ARM 코어는 Linux를 실행하고 DSP는 펌웨어를 실행해야합니다.

유휴 상태 일 때 ARM 코어는 가능한 최저 전원 상태로 전환되고 Linux는 완전히 일시 중단됩니다. 현재 DSP 및 64KB 온칩 RAM이 활성화되어 있습니다. DSP 펌웨어는 마이크에서 들어오는 잡음을 처리하고 키워드 (예 : Alexa)가 사용되는지 식별합니다. 키워드가 발견되면 DSP는 ARM 코어를 깨우기 위해 인터럽트를 보내면 Linux가 다시 시작됩니다. 그러나 리눅스가 알렉사가 계속 말했을 것이라고 말하는 사람을 깨우는 동안 ( “알렉사, 몇 시지?” ) 기억하십시오. DSP는 "지금 몇시입니까?" 온칩 RAM의 일부입니다. Linux가 재개되면 Linux는 버퍼링 된 음성을 가져오고 자연어 처리 (일부 로컬, 부분 클라우드) 기능을 사용하여 Human의 말을 이해합니다.

보시다시피 디자인은 전력 소모가 가장 적고 키워드 감지 및 초기 버퍼링을 위해 클라우드를 포함 할 필요가 없도록 설계되었습니다. 실제로 ARM 코어를 가장 낮은 전력 상태로 유지하면 공전시 실리콘이 가장 적게 가열되어 장치의 수명이 길어집니다.

질문이 다음과 같이 에코를 해킹하려는 시도에 대해서는 논의하지 않고 있습니다.

웨이크 단어 인식은 실제로 로컬에서 수행됩니다.

예.

예를 들어, 새로운 Amazon Echo는 얼마나 비공개입니까?를 참조하십시오 . (최소한의 노력으로 발견되는 것과 훨씬 더 유사합니다)

Siri와 마찬가지로 Amazon Echo는 Amazon Web Services에서 실행되는 "클라우드"에서 작동합니다. 따라서 명령을 "이해"하는 데 필요한 처리는 장치 자체에서 처리되지 않습니다.

하나,

결국, 그것은 항상 듣고 있기 때문에 우리는 빅 브라더에 대해 걱정해서는 안됩니까?

아니요, 아마존은 말합니다. 기술 대기업은 집에서 개인 대화를 듣거나 녹음하지 않는다고 말합니다. 누군가 염려되는 경우 번들 리모컨을 사용하여“항상 청취”장치를 끄는 음소거 버튼을 누를 수 있으므로 마이크를 다시 활성화 할 때까지 작동하지 않습니다.