Generative Adversarial Networks로 거대한 데이터 세트를 생성 할 수 있습니까?

훈련을 위해 깊은 신경망에 공급할 충분한 데이터 세트 (이미지)를 찾을 수없는 문제를 처리하고 있습니다.

Scott Reed et al.에 의해 출판 된 Generative Adversarial Text to Image Synthesis 논문에서 영감을 받았습니다 . 적대적 네트워크 생성.

사용 가능한 작은 데이터 집합을 GAN 모델에 대한 입력으로 사용하고 더 큰 네트워크 집합을 처리하기 위해 훨씬 더 큰 데이터 집합을 생성 할 수 있습니까?

충분할까요?

이는 직접적인 데이터 수집 노력을 넘어서는 추가 가능성이 적습니다.

현재 GAN 출력의 품질 (2017 년 기준)은 충분히 높지 않습니다. GAN에 의해 ​​생성 된 이미지는 일반적으로 작으며 특이하고 모호한 세부 사항과 홀수 왜곡을 가질 수 있습니다. 당신이 링크 된 논문에서는 문장에서 시스템에 의해 생성 된 이미지는 문제 피사체를 주어진 색상의 믿을 수있는 블록을 가지고 있지만, 문장없이 대부분이 같은 인식 할 수 없습니다 기대하는 무엇을 프라이밍 어떤 특정 대상.

문장에서 이미지를 생성하는 것보다 야심 찬 목적을 가진 GAN (위의 비판에도 불구하고, 정말 놀라운 위업 IMO)은 사실적인 이미지에 더 가깝게 만들어야합니다. 그러나 범위가 줄어들고 원하는 이미지 유형이 포함되지 않을 수 있습니다. 또한 일반적으로 출력 크기는 64x64 또는 128x128 *로 작으며 원본의 실제 사진이 훨씬 바람직 할 정도로 왜곡과 모호성이 충분합니다.

GAN 자체는 사용 가능한 교육 라이브러리에 의해 제한됩니다. 교육 데이터 범위 밖에서 이미지를 생성하려고 시도하면 제대로 수행되지 않습니다. 물론 연구 논문에 표시된 결과는 교육 데이터에서 제공하는 도메인에 중점을 둡니다. 그러나 당신은 단지 먹이를 할 수 있는 이 모델로 문장을 유용한 곳이 될 것입니다 결과를 기대합니다.

문제에 적합한 데이터 세트에 대해 교육을받은 GAN을 찾으면 프로젝트에 동일한 데이터를 직접 제공하는 것이 좋습니다.

제한된 근거 데이터에 문제가있는 경우 GAN을 사용하는 더 나은 방법은 VGG-19 또는 Inception v5와 같은 사전 훈련 된 분류기를 사용하고 마지막으로 완전히 연결된 레이어를 교체하는 것입니다. 데이터를 조정하십시오. 다음은 Python에서 Keras 라이브러리를 사용하는 예입니다. "fine tune CNN image classifier"와 같은 검색에서 다른 예를 찾을 수 있습니다.

*이 답변을 게시 한 이후 최첨단 GAN이 향상되었습니다. 엔비디아의 한 연구팀은 1024x1024의 사실적인 이미지를 만드는 데 성공했습니다 . 그러나 이것은 내 대답의 다른 요점을 변경하지 않습니다. GAN은 이미지 분류 작업을위한 신뢰할 수있는 이미지 소스가 아닙니다. GAN이 이미 학습 한 항목의 하위 작업 일 수도 있고 조건부로 (또는 더 사소하게는 "다른"범주에 대한 소스 데이터를 제공 할 수 있음) 분류기).

현재 구축중인 DNN과 동일한 문제가 있습니다. 내 데이터 세트를 가져와 GAN으로 새 데이터를 합성하는 것은 좋은 생각처럼 보입니다. 그러나 GAN 자체는 학습 세트에서 배운 것과 동일한 이미지 분산 및 표준 편차를 가진 이미지 만 출력하는 방법을 배웁니다. 따라서 새로 생성 된 데이터는 단순히 동일한 표본 분포에 대한 더 많은 순열을 나타냅니다. 이렇게하면 NN이 동일한 배포판에서 더 잘 훈련하는 데 도움이되므로 과도한 교육을받을 수 있습니다.

순전히 이론적 인 관점에서 볼 때 이것은 불가능합니다.

주어진 훈련 데이터 세트는 특정 공간의 구조에 대한 일정량의 정보를 나타냅니다. 이 데이터 세트에 대해 GAN을 교육하면 해당 데이터 세트가 나타내는 정보에서만 학습합니다. GAN에 의해 ​​합성 된 데이터는 다음과 같은 단순한 이유 때문에 원래 데이터보다 더 큰 공간에있을 수 없습니다. 원래 데이터 세트에없는 경우 GAN의 합성 된 데이터에도있을 수 없습니다.

신경망이 데이터 세트에 수렴되도록 훈련하면 해당 신경망은 데이터 세트에 포함 된 모든 구조를 학습합니다. GAN에 의해 ​​합성 된 인공 훈련 데이터는 새로운 정보를 추가하지 않습니다. 그 아이디어는 간단해야합니다.

실제로 GAN을 사용하여 작은 데이터 세트를 보강하여 데이터를 개선 할 수 있으며 https://arxiv.org/pdf/1803.01229.pdf에서 읽을 수있는 분류 네트워크의 성능도 향상됩니다 . GAN은 원래 날짜 집합에는 관여하지 않지만 여전히 유효한 중간 형태를 학습 할 수 있습니다. 따라서 합성 이미지는 실제로 데이터 세트 크기를 개선하고 CNN 분류 정확도를 향상시킬 수 있습니다.