Google이 사용하는 알고리즘을 모르겠습니다. 그러나 최고의 추측을 원했기 때문에 비슷한 시스템 을 어떻게 구성 할 수 있는지 에 대한 아이디어를 드리겠습니다 .
이미지 별 이미지 검색을 다루는 전체 필드를 CBIR (Content Based Image Retrieval)이라고 합니다. 아이디어는 어떻게 든 이미지 컨텐츠에 대한 정보 를 포함 하는 이미지 표현 (사람이 반드시 이해할 수있는 것은 아님)을 구성하는 것 입니다.
두 가지 기본 접근 방식이 있습니다.
- 저수준 (로컬) 기능을 사용하여 검색 : 이미지의 특정 부분에서 색상, 질감, 모양 (이미지는 로컬 기능 의 설명자 모음입니다 )
- 이미지가 어떤 식 으로든 객체 모음과 그 관계로 표현되는 의미 론적 접근법
낮은 수준의 지역 접근 방식 은 매우 잘 연구되었습니다. 현재의 가장 좋은 접근 방식은 로컬 기능을 추출하고 (여기에 관련된 기능 추출 알고리즘 선택) 로컬 설명자를 사용하여 이미지를 비교합니다.
최신 작업에서는 로컬 설명자가 먼저 클러스터 된 다음 클러스터가 시각적 단어 로 취급됩니다. 이 기술은 Google 문서 검색과 매우 유사하지만 문자 단어 대신 시각적 단어를 사용합니다.
시각적 단어는 언어의 단어 뿌리와 동등한 것으로 생각할 수 있습니다. 예를 들어, 단어 work, working, working은 모두 동일한 단어 root에 속합니다.
이러한 종류의 방법의 단점 중 하나는 일반적으로 질감이 낮은 이미지에서 성능이 저하된다는 것입니다.
이미 이러한 접근 방식에 대해 자세히 설명하고 많은 답변을 보았으므로 해당 답변에 대한 링크를 제공합니다.
- CBIR : 1 , 2
- 특징 추출 / 설명 : 1 , 2 , 3 , 4
시맨틱 접근법 은 일반적으로 전체 이미지의 계층 적 표현을 기반으로합니다. 이러한 접근 방식은 특히 일반적인 이미지 유형에 대해서는 아직 완벽하지 않습니다. 이러한 종류의 기술을 특정 이미지 도메인에 적용하는 데 약간의 성공이 있습니다.
현재 이러한 접근법에 대한 연구가 진행 중이므로 결론을 내릴 수 없습니다. 이제이 답변 에서 이러한 기술의 기본 개념을 설명했습니다 .
다시 한 번 간단히 말하면, 일반적인 아이디어는 나무 모양의 구조를 가진 이미지를 나타내는 것입니다. 여기서 나뭇잎에는 이미지 세부 정보가 포함되어 있으며 그러한 나무의 뿌리에 가까운 노드에서 객체를 찾을 수 있습니다. 그런 다음 어떻게 든 하위 트리를 비교하여 다른 이미지에 포함 된 객체를 식별합니다.
다음은 다양한 트리 표현에 대한 참조입니다. 나는 그것들을 모두 읽지는 않았으며, 그들 중 일부는 CBIR 대신 세분화를 위해 이러한 종류의 표현을 사용하지만 여전히 여기에 있습니다.
- 이진 분할 트리 및 최소 / 최대 트리에 대한 언급 : P. Salembier, MHF Wilkinson : 연결된 연산자
- 이진 분할 트리 : V. Vilaplana, F. Marques, P. Selembier : 객체 탐지를위한 이진 분할 트리
- 모양의 나무 (구성 요소 트리) : P. Monasse, F. Guichard : 대비 불변 이미지 표현의 빠른 계산 , C. Ballester, V. Castellis, P. Monasse : 이미지 모양의 나무
- 단조로운 나무 : Y. Song, A. Zhang : 단조로운 나무로 풍경 이미지 분석
- 편집 : 추가 파기를 통해 이미지를 4 / 8- (모양의 나무) 또는 6- 연결성 (단조)으로 처리하는 것을 제외하고 는 모양의 나무 와 단조로운 나무 가 동일하다는 것을 알 수 있습니다.
- 극단 유역 트리 : A. Vichik, R. Keshet, D. Malah : 트리 반격 자 및 응용 프로그램에 대한 자기 이중 형태
- 제한된 연결성, 알파 트리, 초 수계 : P. Soille, L. Najman : 이미지 처리 및 공간 데이터 클러스터링을위한 형태 적 계층 적 표현