이미지에서 감독되지 않은 기능 추출에 GAN을 사용하는 방법은 무엇입니까?

두 네트워크 (생성 및 차별적)가 서로 경쟁하는 동안 GAN의 작동 방식을 이해했습니다. 나는 MNIST 데이터 세트와 유사한 자필 숫자를 성공적으로 생성하는 DCGAN (컨볼 루션 판별 기 및 디볼 루션 생성기가있는 GAN)을 만들었습니다.

이미지에서 기능을 추출하기위한 GAN의 애플리케이션에 대해 많이 읽었습니다. 훈련 된 GAN 모델 (MNIST 데이터 세트)을 사용하여 MNIST 필기 디스트 이미지에서 피쳐를 추출하는 방법은 무엇입니까?

일반적으로 기능을 추출하기 위해 출력 전에 네트워크의 최상위 계층을 사용할 수 있습니다. 직감은 최상위 계층이 로지스틱 회귀이기 때문에 이러한 기능을 선형으로 분리 할 수 ​​있다는 것입니다.

GAN의 경우 판별 기의 기능을 사용할 수 있습니다. 이러한 기능은 입력이 교육 데이터 세트 "실제 이미지"에서 나온 경우 확률을 제공합니다. Radford의 DCGAN 논문 에서는 판별 기의 모든 컨볼 루션 레이어를 사용하고 CIFAR-10에 대한 최대 풀링 레이어 추출 기능을 실행합니다.

DCGAN이 감독하는 작업에 대해 학습 한 표현의 품질을 평가하기 위해 Imagenet-1k를 학습 한 다음 모든 계층에서 판별 기의 컨볼 루션 기능을 사용하여 각 계층 표현을 최대 풀링하여 4 × 4 공간 그리드를 생성합니다. 그런 다음 이러한 특징을 평평하게하고 연결하여 28672 차원 벡터를 형성하고 정규화 된 선형 L2-SVM 분류 기가 그 위에 훈련됩니다.

케니의 대답은 맞습니다. 컨볼 루션 D를 사용하는 경우 밀도가 높아지기 전에 레이어의 출력이 기능으로 제공 될 수 있습니다. 내 직감은 AC-GAN (또는 유사한 아키텍처, D가 입력을 가짜인지 실제인지를 결정하는 것 외에도 유사한 아키텍처)에서 더 잘 작동한다는 것입니다.

BiGAN 이라는 접근법이 있는데, 생성 및 훈련 샘플을 생성기를 "초기화"하는 데 사용되는 잠재 분포 z 에 매핑 할 수 있는 인코더 구성 요소 를 추가합니다 . 저자는 전이 학습 및 기타 작업을위한 기능 세트로 효과적으로 사용할 수 있음을 보여줍니다.

GAN은 생성기와 판별 기의 두 부분으로 구성되므로 GAN을 기능 추출기로 사용하는 두 가지 방법이 있습니다.

1. Mikhail Yurasov가 제시 한 발전기 기반 방식.
2. Kenny가 제시 한 차별 기반 방식.

두 번째 방법은 더 논쟁의 여지가 있습니다. 일부 연구 [1]는 판별 기의 목표가 생성 된 샘플을 실제 샘플과 구별하는 것이므로 직관적으로이 두 종류의 샘플의 차이에 초점을 맞출 것이라고 생각했습니다. 그러나 이해가되는 것은 다운 스트림 작업에서 사용되는 샘플 인 실제 샘플 간의 차이입니다.

나는 이것을 연구하려고 노력했는데 추출 된 특징이 두 개의 직교 부분 공간 으로 분해 될 수 있음을 발견했다 . 첫 번째 공간은 차별 작업에 기여하는 반면 두 번째 공간은 차별 작업에 기여합니다. 대부분의 경우, 실제 샘플과 생성 된 샘플을 구별하는 데 사용되는 기능은 노이즈이며, 두 번째 기능 공간에는 노이즈가 없습니다. 이러한 관점에서, 판별 기의 작업은 다운 스트림 작업에 유용한 실제 샘플 간의 차이에 초점을 맞추지 않지만 두 번째 부분 공간에 포함 된 무소음 기능은 작동합니다.

[1] Jost Tobias Springenberg. Caterical Generative Adversarial Networks를 통한 비지도 및 준지도 학습. arXiv : 1511.06390 [cs, stat], 2016 년 4 월. arXiv 사전 인쇄. arXiv : 1511.06390 [stat.ML]. 뉴욕 이타카 : 코넬 대학 도서관.