신경망이 왜 쉬운가?

신경망을 "어리석게"하기 위해 이미지를 수동으로 구성하는 방법에 대한 논문을 읽었습니다 (아래 참조).

네트워크가 조건부 확률 만 모델링하기 때문 입니까? 네트워크가 결합 확률 모델링 할 수있는 경우에도 그러한 경우가 발생합니까?p ( y , x $p(y|x)$
$p(y,x)$

내 생각에 인위적으로 생성 된 이미지가 훈련 데이터와 다르므로 확률이 낮습니다 . 따라서 이러한 이미지에 대해 가 높을 수 있더라도 는 낮아야 합니다.p ( y , x ) p ( y | x $p(x)$$p(y,x)$$p(y|x)$

최신 정보

나는 일부 생성 모델을 시도했지만 도움이되지 않는 것으로 판명되었으므로 아마도 이것이 MLE의 결과일까요?

KL 분기가 손실 함수로 사용되는 경우 가 작은 의 값은 손실에 영향을 미치지 않습니다. 따라서 와 일치하지 않는 구성 이미지 의 경우 의 값은 임의적 일 수 있습니다.p d a t a ( x ) p d a t a p $p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

최신 정보

Andrej Karpathy가 블로그 를 찾았습니다.

이러한 결과는 이미지, ConvNet에만 국한되지 않으며 딥 러닝의 "결함"이 아닙니다.

적대적인 예를 설명하고 괴롭힘 심층 신경망을 쉽게 속일 수 있음 : 인식 할 수없는 이미지에 대한 높은 신뢰도 예측

당신이 말하는 모델의 종류를 차별적 인 것이 아니라 '생성'모델이라고하며, 실제로 고차원 데이터로 확장하지는 않습니다. 언어 작업에서 NN의 성공의 일부는 생식 모델에서 이동 (HMM)을 '더'차별적 모델을 (예 MEMM 문맥 데이터를 효율적으로 사용할 수 있습니다 로지스틱 회귀 사용 https://en.wikipedia.org/을 wiki / Hidden_Markov_model # Extensions )

나는 그들이 속이는 이유가 더 일반적인 문제라고 주장합니다. 보다 정교한 방법보다 '얕은'ML 중심 AI가 현재 지배적입니다. [신문의 많은에 다른 ML 모델은 쉽게 속아 것을 언급 - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - 이안 Goodfellow]

많은 작업에서 가장 효과적인 '언어 모델'은 '단어'입니다. 아무도 이것이 의미있는 인간 언어 모델을 대표한다고 주장하지는 않을 것입니다. 이러한 종류의 모델도 쉽게 속일 수 있다고 상상하기 어렵지 않습니다.

이와 유사하게 객체 인식과 같은 컴퓨터 비전 작업은 계산이 많은 방법을 사용하지 않는 '시각적 단어 모음'에 의해 혁명을 일으켰습니다 (대량의 데이터 세트에는 적용 할 수 없었습니다).

CNN은 더 나은 '시각적 단어 모음'을 주장 할 것입니다. 이미지에 표시 할 때 픽셀 수준 / 저수준 기능에서 실수가 발생합니다. 모든 과장법에도 불구하고 숨겨진 층에는 높은 수준의 표현이 없습니다. (모두 실수를 저지르는 것은 사람이 더 높은 수준의 기능으로 인해 '실수'하고 예를 들어 고양이의 만화를 인식한다는 것입니다. NN은 그렇게 생각하지 않습니다).

보다 복잡한 컴퓨터 비전 모델의 예 (NN보다 더 나쁜 성능)는 예를 들어 '변형 가능한 부품'모델입니다.

내가 아는 한 대부분의 신경망은 입력 이미지에 대해 사전 확률 분포를 사용하지 않습니다. 그러나 훈련 세트의 선택을 그러한 확률 분포로 해석 할 수 있습니다. 이러한 관점에서, 인위적으로 생성 된 이미지는 테스트 세트에서 이미지로 선택되지 않을 것입니다. '공동 확률'을 측정하는 한 가지 방법은 이미지를 무작위로 생성 한 다음 레이블을 지정하는 것입니다. 문제는 방대한 VAST 대다수가 레이블이 없다는 것입니다. 따라서 합리적인 수의 레이블이 지정된 예제를 얻으려면 너무 많은 시간이 걸립니다.