텍스트에 대한 GAN (Generative Adversarial Network)도 가능합니까?

GAN (생식 적대적 네트워크)은 이미지에만 적합합니까, 아니면 텍스트에도 사용될 수 있습니까?

마찬가지로, 요약을 통해 의미있는 텍스트를 생성하도록 네트워크를 훈련시킵니다.

UPD-GAN 발명가 Ian Goodfellow의 인용문.

GAN은 실제 데이터에만 정의되므로 GAN은 NLP에 적용되지 않았습니다. ( 2016 ) 소스

근본적으로 결함이있는 아이디어는 아닙니다. 다음 중 하나 이상을 수행 할 수 있어야합니다 ... (2017) 소스

예, 텍스트에 GAN을 사용할 수 있습니다. 그러나 GAN의 작동 방식과 신경망에서 텍스트가 정상적으로 생성되는 방식의 조합에는 문제가 있습니다.

• GAN은 Generator 및 Discriminator의 구성을 통해 그라디언트를 전파하여 작동합니다.
• 텍스트는 일반적으로 토큰 공간에 최종 softmax 계층을 가짐으로써 생성됩니다. 즉, 네트워크의 출력은 일반적으로 각 토큰 (즉, 이산 확률 적 단위)을 생성 할 확률입니다.

이 두 가지 기능은 개별적으로 확률 적 단위를 통해 그라디언트를 전파 할 수 없기 때문에 자체적으로 잘 작동하지 않습니다. 이를 처리하기위한 REINFORCE 알고리즘 과 Gumbel-Softmax 재 모수화 ( 콘크리트 분포 라고도 함)의 두 가지 주요 접근 방식이 있습니다. REINFORCE는 분산이 높은 것으로 알려져 있으므로 좋은 경사도 추정을 위해서는 많은 양의 데이터가 필요합니다.

텍스트 GAN에 대한 REINFORCE의 예로 SeqGAN 기사를 확인할 수 있습니다. . Gumbel-Softmax의 예는 이 기사를 확인할 수 있습니다 .

완전히 다른 또 다른 옵션은 생성기의 출력으로 별도의 확률 적 단위를 갖지 않는 것입니다 (예 : 임베디드 공간에서 결정적으로 토큰 생성).

이 주제에 대한 더 구체적인 연구가 있습니다.

훈련 된 생성기는 특정 수준의 문법과 논리로 문장을 생성 할 수 있습니다.

Xuerong Xiao, "생성 적대적 훈련을 사용한 텍스트 생성"

이 질문은 이것과 관련이 있습니다 : https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

예. 이제 GAN을 별도의 데이터에도 사용할 수 있습니다. 이 직관의 첫 번째 사례는 Wasserstein GAN (WGAN)이 등장했을 때였습니다. Ian Goodfellow 는 NIPS 2016 컨퍼런스에서이 문제에 대한 강화 학습 접근법을 설명했습니다. 또한 이 기사 에서는 개별 데이터와 관련하여 GAN의 발전에 대해 다룹니다.