신경망을 훈련시켜 특정 스타일로 그림을 그릴 수 있습니까?

신경망을 훈련시켜 특정 스타일로 그림을 그릴 수 있습니까? (따라서 이미지를 가져와 훈련 된 스타일로 다시 그립니다.)

그런 종류의 물건에 대해 승인 된 기술이 있습니까? DeepArt 알고리즘에 대해 알고 있습니다. 기본 이미지를 특정 패턴 (예 : vangoghify 이미지)으로 채우는 것이 좋지만, 입력 초상화에서 특정 스타일로 만화를 만드는 것과 같은 다른 것을 찾고 있습니다.

machine-learning neural-networks deep-learning

— zavg
소스

사진 대 만화 신경망을 훈련시키는 데 장애물이되는 것은 훈련 데이터 세트를 찾는 것일 수 있습니다. 데이터 세트에 사진과 사람이 그 사진을 기반으로 그린 만화가 포함되어 있어야합니다. 나는 그러한 데이터 세트를 모른다.

— Tanner Swett

@TannerSwett 그런 훈련에 얼마나 많은 이미지가 필요한지 어떻게 생각하십니까?

— zavg

나는 전문가가 아니기 때문에 난폭 한 추측 만 할 수 있습니다. 최소한 천 개의 이미지가 필요하다고 생각합니다. 그 이상이 필요할 수 있습니다. 그건 그렇고, 나는이 도구를보고 제안 : github.com/hardmaru/sketch-rnn 그 도구는 한자의 모방을 생성하는 데 사용되었습니다; 비슷한 도구가 만화의 모방을 생성 할 수 있습니다.

— Tanner Swett 2016 년

NN 교육이 얼마 전에 있었기 때문에 약간 오래된 것일 수도 있지만 수천 개의 이미지로 네트워크를 훈련하고 생각하는 스타일로 그림을 렌더링 할 수 있기를 기대한다면 너무 멀리 도달 할 수 있습니다. 이것이 좋은 스타터 프로젝트라고 생각한다면하지 마십시오. 당신이 묘사 한 것을 달성하기 위해서는 '많은'수동 피들 링이 필요할 것입니다. 패턴 일치뿐만 아니라 이미지를 해석하는 데 필요한 지식에 대해 생각하십시오.

— 피터 스콧

또한 vox.com/2016/6/1/11787262/blade-runner-neural-network-encoding

— Peter Scott

답변:

관련 논문이 있습니다 : LA Gatus, AS Ecker, M Bethge, 2015, A Neural Algorithm of Artistic Style . 초록에서 인용하면

여기 우리는 높은 지각 품질의 예술적 이미지를 만드는 Deep Neural Network를 기반으로 한 인공 시스템을 소개합니다. 이 시스템은 신경 표현을 사용하여 컨텐츠와 임의의 이미지 스타일을 분리하고 재결합하여 예술적 이미지를 생성하기위한 신경 알고리즘을 제공합니다.

이 백서의 그림 2는 다음과 같습니다.

도있다 매우 인기 토치를 기반으로 오픈 소스 구현 여기에 아주 쉽게 사용하는 것입니다. 더 많은 예는 링크를 참조하십시오.

계산이 무거 우므로 단일 이미지를 처리하는 것이이 작업의 범위입니다.

편집 : 언급 한 DeepArt 프로젝트를 확인한 후 동일한 기술을 사용하는 것 같습니다. 왜 스타일 트랜스퍼 의 개념이 일반적인 것이기 때문에 이것이 원하는 것이 아닌지 잘 모르겠습니다 .

— 사샤
소스

만화는 묘사하고있는 것의 특징을 과장하고 단순화하여 사진의 모양과 매우 다른 모양을 만듭니다. 나는 기존의 스타일 전송 신경망이 그랬다고 믿지 않습니다.

— Tanner Swett

@TannerSwett imgur.com/a/ue6ap 에서 예제를보십시오 . 그들 중 일부는 꽤 만화 같은 것입니다.

— amoeba 2016 년

@amoeba 그들은 만화처럼 보이지만 대부분의 실제 만화가 가지고있는 왜곡 된 비율은 없습니다.

— Tanner Swett 2016 년

여기서 스타일 전송에 대해 이야기하고 있습니다. 모든 예제는 미리 선택된 스타일을 사용하는데,이 중 하나는 만화 적이 지 않습니다 (Van Gogh에서 배울 때 결과가 만화처럼 보이는 이유). 어쩌면 오픈 소스 프로젝트를 실행하고 (과거에는 아무런 문제가 없었 음) 만화 입력으로 시도해 볼 수 있습니다.

— sascha

이것은 해결하기 어려운 문제입니다. 심슨 스타일과 같은 만화 스타일이 이미지에 적용된 방법에 대한 몇 가지 예를 여기서 볼 수 있습니다 .

만화 이미지에는 일반적으로 이러한 예술적 효과 를주는 구조가 없습니다 . 이 방법을 적용하는 가장 쉬운 방법은 얼굴 추적기를 가지고 만화 얼굴과 사람 얼굴과 같은 두 얼굴을 정렬 한 다음 적용하는 것입니다. 어딘가에 당신을 얻을 수도 있지만, 이상하게 보일 수도 있습니다. 그런 다음 이미지에 랜드 마크에 주석을 달아 더 강화하고 비 강성 등록을 수행 할 수 있습니다. 이것은 여전히 다소 shitmix 솔루션이지만, 내가 생각할 수있는 가장 가까운 것은 얼굴에 효과적 일 수 있습니다.

편집하다:

@TannerSwett의 의견은 이것에 무언가를 추가합니다. 일부 아티스트 웹 페이지로 이동하여 그림을 찾고 "그들의"스타일을 배우려고 시도 할 가능성이 있습니다. 나는 여전히 그것이 만족 스럽거나 충분한 데이터를 산출 할 것이라고 생각하지 않지만, 테스트하기에는 흥미로운 일이 될 것입니다. 현재로서는 일반적으로 사용 가능한 솔루션이 없지만 분명히이 작업을 수행하는 사람들이 있다고 생각하며 곧 더 나은 결과를 볼 수 있습니다.

아마도 갈 길은 예술적 신경망 접근법이 아니라고 생각합니다. 이미지에서 객체를 분류 한 다음 객체와 해당 만화의 대응 관계를 학습 한 다음 결과를 의미있는 방식으로 혼합 할 수있는 네트워크를 구축하는 것이 좋습니다.

— 구 메오
소스

그 심슨의 예는 저에게 정말 멋져요 @Gumeo

— FabricioG

너무 복잡해서는 안됩니다. 언급 한 기사를 읽지 않은 경우 여기 내 요리법이 있습니다.

변이 형 자동 인코더

모핑면이있는 온라인 데모 : http://vdumoulin.github.io/morphing_faces/online_demo.html

그리고 코드는 https://jmetzen.github.io/2015-11-27/vae.html 입니다.

기본적으로, 이것은 당신이 당신의 경우 '스타일'을 매개 변수화하는 방법을 제공합니다. 에뮬레이션하려는 특정 스타일에 따라 다릅니다.

위의 예에서 다른 '모프 된'또는 '상상 된'면은 잠재 공간의 매개 변수의 함수입니다. 아래 이미지에서 '코드'레벨에서 물건을 변경하면 얻을 수 있습니다.

기본 아이디어는 다음과 같습니다. 원본 이미지 왼쪽, 오른쪽에 동일한 이미지의 양식화 된 버전 :

이론적으로, 일반 이미지와 양식화 된 이미지를 대상으로 이러한 모델을 학습하고 컨볼 루션을 추가 하는 경우 아티스트가 사용하는 "브러쉬 스트로크"유형에 해당하는 커널 필터 를 배울 수 있어야 합니다. .

물론 이는 원본 및 양식화 된 버전의 이미지 몇 가지 예가 필요하다는 것을 의미합니다. 이러한 데이터 세트는 커뮤니티에 기부하는 것이 좋을 것입니다.이 작업을 마치면 이런 종류의 작업을보고 싶어합니다.

행운을 빕니다!

자동 인코더에 대한 wiki 기사는 좋은 출발점이 될 것입니다 : https://en.wikipedia.org/wiki/Autoencoder

— 슈리 켄 x 블루
소스