신경망-가장 유사한 이미지 찾기

저는 Python, scikit-learn 및 keras로 작업하고 있습니다. Watch_1 , Watch_2 , Watch_3 과 같은 3000 만 개의 전면 시계 이미지가 있습니다 .

위의 사진 (다른 배경색, 어두운 번개 등)보다 이상적인 조건에서 촬영 할 수있는 실제 시계의 사진을 입력으로 받아 3000 가지 중에서 가장 유사한 시계를 찾는 프로그램을 작성하고 싶습니다. 비슷하게 나는 얇은 레이스가있는 둥근 갈색 시계의 사진을 입력으로 제공하면 둥근 모양, 어두운 색 및 얇은 레이스의 출력 시계로 기대한다는 것을 의미합니다.

가장 효율적인 머신 러닝 알고리즘은 무엇입니까?

예를 들어, 이 링크 를 따르면 두 가지 솔루션이 있습니다.

1) CNN을 기능 추출기로 사용하고 입력 이미지를 참조하여 모든 이미지 쌍에 대해 이러한 기능 사이의 거리를 비교하십시오.

2) Siamese Neural Network에서 두 개의 CNN을 사용하여 이미지를 비교합니다.

이 두 가지 옵션이이 작업에 가장 적합한 옵션입니까, 아니면 다른 것을 제안 하시겠습니까?

이 작업에 대해 사전 훈련 된 신경망 (미리 결정된 하이퍼 파라미터 포함)을 알고 있습니까?

나는 이것에 대해 StackOverflow에서 흥미로운 게시물을 찾았지만 꽤 오래되었습니다 : Post_1 , Post_2 , Post_3 .

나는 높은 수준의 아키텍처가 가장 적합하다고 생각하지 않지만 많은 요소와 세부 사항에 달려 있습니다. 내가 알고있는 첫 번째 접근 방식은 특히 TiefVision 에서 수행 한 추가 단계로 확장 될 때 유망합니다 .

1. 추가 경계 상자 네트워크를 사용하여 이미지의 관련 부분을 나머지 부분과 구별합니다.
2. 특징 벡터는 단순히 직접 비교되는 것이 아니라 삼중 항을 사용하여 비교 네트워크를 훈련시키는 데 사용됩니다 (특징 벡터를 기반으로 유사성을 학습하고 점점 더 유사한 인스턴스에 대한 예를 학습 함).

이 작업은 게시 한 것보다 훨씬 더 최근 (2016/17)이며 멋진 도구 세트와보다 자세한 용지가 제공 됩니다.

트리플렛 (일명 딥 랭킹)을 사용하는 이유는 무엇입니까?

의견에 명시된 바와 같이 : 특징 벡터를 학습하는 대신 이미지 유사성을 위해 삼중 항을 사용해야하고 거리를 계산 해야하는 이유는 무엇입니까? 삼중 항은 기본적으로 유사성을 신경 쓰지 않는 특징 벡터를 학습하는 대신 유사성 질문을 학습 문제로 공식화하는 방법입니다. 이 접근법은 인간이 인식 한 유사성이 중요한 경우에 특히 의미가 있으며, 이는 기계 인식과 다를 수 있습니다.

삼중 항은 다음과 같이 작동합니다. 3 개의 이미지를 제공합니다. 하나는 비슷한 (가까운) 이미지와 비슷하지 않은 (먼) 이미지입니다. 이것은 훈련 / 테스트 / 검증 데이터입니다. 이러한 샘플에 대해 네트워크를 교육하고 전체적으로 올바른 순서를 예측하면 (비 유사 이미지와 유사하게 분류) 네트워크에서 유사성을 기반으로 이미지를 정렬하는 방법을 배울 수 있습니다.

이 모든 접근 방식은 비교적 복잡합니다. 오버 엔지니어링 될 수도 있지만이를 수행하는 가장 좋은 방법을 요청했으며 Deep Ranking은 매우 높은 정밀도 값을 얻습니다.

VGG-16과 같이 이미지 넷 클래스에서 잘 작동하는 분류기를 선택합니다. 그런 다음 시계 이미지를 통해 실행하십시오. 확실히, 당신은 출력이 높은 확률로 대부분 "감시"를 기대할 수 있습니다.

그러나 다른 모든 범주의 활성화 수준과 같은 추가 기능이 제공됩니다. 그것은 0과 1 사이의 천 값의 벡터를 제공합니다.

네트워크의 다양한 지점에서 활성화를 추출 할 수도 있습니다. 그런 다음 해당 활성화 및 출력의 유사성은 이미지가 유사한 경우에만 두 경우간에 유사해야합니다.

먼저 데이터 확대에 중점을 둘 것입니다. 이미지의 배경이 흰색이므로 약간 더 쉽습니다. 흰색 배경을 투명한 배경으로 바꾸고 이미지를 축소 한 다음 회전하여 대상 데이터와 유사한 배경에 놓습니다.

다른 조합으로 여러 번이 작업을 수행하고 각 시계마다 레이블을 지정하십시오. 그런 다음 분류에 규칙적인 컨볼 루션 신경망을 사용하는 것이 좋습니다. 각 레이블에는 점수가 부여되며, 가장 높은 신뢰도를 가진 레이블을 선택하고 가장 유사한 레이블을 선택하십시오 .

예를 들어 이미지로 분류자를 실행 하고이 결과를 얻는다고 가정 해보십시오.

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

CNN은 Watch1이 입력 이미지의 시계라는 51 %의 신뢰를 가지고 있다고 말합니다. 그러나 사실은 그것이 더 비슷해 보인다고 생각하는 것입니다. Watch2는 다음에 더 비슷할 것입니다.

좋은 결과를 얻지 못하면 평소대로하십시오. 매개 변수를 실험하고 /하거나 더 많은 레이어를 추가하십시오. 실패한 곳을 찾으십시오. 이러한 통찰력을 얻은 후에는이를 사용하여 특정 문제에 대해보다 특수한 유형의 회선 네트워크를 선택할 수 있습니다. 그것이 어떻게 수행되는지에 대한 사전 지식없이 그것을 찾는 것은 올바른 접근법이 아닙니다. 기본 컨볼 루션 모델로 시작한 다음 거기서 작업하는 것이 좋습니다.