이미지 패치를 정 성적으로 비교하기위한 좋은 지표

이미지의 작은 정사각형 패치를 "일치 시키려고"합니다. 언뜻보기에이 두 배열의 유클리드 거리 스타일 비교를 간단히 수행하여 "유사성"측정 값을 얻는 것이 합리적입니다. 이것은 많은 경우에 잘 작동합니다 (이 메트릭에 따른 "최상의"패치 (최저값)는 쿼리 패치와 매우 유사 함). 그러나 이것이 매우 일치하지 않는 경우가 많이 있습니다. 예를 들어 다음 두 패치 쌍을 사용하십시오.

벽돌 벽의 두 패치, 점수 134 (평균 절대 픽셀 차이의 구성 요소의 합계) :

벽돌 벽 1 개, 잔디 1 개, 123 점!

인간에게는 잔디가 "명확하게"벽돌과 맞지 않지만이 측정법은 그렇지 않다고 말합니다. 문제는 지역 통계 변동에 있습니다.

히스토그램 비교와 같은 것을 사용하면 모든 공간 정보가 완전히 손실됩니다. 예를 들어 패치가 맨 위에 잔디이고 맨 아래에 벽돌이 있으면 맨 아래에 잔디가 있고 맨 위에 벽돌이있는 패치와 정확히 일치합니다 (다시) , 다른 "분명히 잘못된"일치).

위의 쌍 1에 대해 "유사한"것으로 평가되지만 패치 및 수직 미러의 예와 유사하지 않은 이러한 아이디어를 합리적인 값으로 결합하는 메트릭이 있습니까?

모든 제안을 부탁드립니다!

필수 아이디어는 : 색상 정보에는 아무런 문제가 없습니다. 단지 충분하지 않습니다. 가장 좋은 점은 여러 기능 세트를 결합하는 것입니다.

이 모호성을 해결하기 위해 여러 기능을 시도 할 수 있습니다. 기능 세트에 관한 한 다음을 사용할 수 있습니다.

1. 컬러 ( MPEG7의 주요 컬러 와 같은 것 ) 또는 컬러 히스토그램
2. 텍스처 (필터 뱅크 응답 형식) 또는
3. 가장자리 히스토그램

기본 비교로서, 먼저 순수한 벽돌 패치와 순수한 잔디 패치를 구별하고 싶습니다. 이를 위해서는 색상이 가장 잠재적 인 요소입니다.

보다 강력한 분류를위한 기능 결합

나는 지배적 인 색상 (단 하나는 아니지만 사용) 또는 키 색상을 사용하여 클러스터를 형성합니다. 클러스터 헤드가 어디에 있는지 확인하십시오.

클러스터 헤드가 모두 예상 영역 내에 있으면 클래스를 쉽게 감지 할 수 있으며 회색 영역에 해당하면 클래스가 해당 클래스에 속합니다. 회색 영역에 해당하면 다른 기능이 필요합니다.

또한 텍스처 매트릭스를 사용하여 독립적으로 분류 한 다음 두 점수를 결합하여 결과가 의미가 있는지 확인할 수 있습니다.

공간 문제 다루기

특히 패치에 반 벽돌과 반 잔디 인 부분이있을 수 있음을 알고 있습니다. 더 이상 추가 기능이나 다른 수학이 필요하지 않습니다. 이것은 두 가지 방법으로 처리 할 수 ​​있습니다.

1. 여러 멤버십 패치를 다른 클래스로 유지하십시오. 예를 들어, 떨어져에서 birck-only클래스와 grass-only클래스, 당신은 또한 수 half-brick-half-grass-vertical와 half-brick-half-grass-horizontal총 네 개의 클래스로. 이것은 앞에서 설명한 클러스터링 방법을 사용하여 쉽게 분류 할 수 있습니다.

2. 멀티 스케일 분류 추가 예를 들어, 패치가 회색 영역에있는 경우 패치를 두 부분 즉, 왼쪽 대 오른쪽으로 나눌 수 있습니다. 같은 방법으로 위쪽과 아래쪽을 나눌 수도 있습니다. 이제이 "반쪽 부분"에 동일한 분류를 적용 할 수 있습니다. 이상적으로 위에 나열된 기능을 사용하면 전체 부분 간의 기능 유사성을 비교할 수 있도록 확장 할 수 있어야합니다 (예 : 주요 색상은 크기에 관계없이 동일 할 수 있음). 또는 크기를 조정해야 할 수도 있습니다.

더 많은 클래스 (1 부에서와 같이) 또는 더 많은 레벨 (2 부에서와 같이)을 추가하는 것은 간단합니다. 상한에는 두 가지 요소가 있습니다. 추가 부서가 더 이상 분류에 값을 추가하지 않거나 과도한 노이즈가 분류에 모호성을 유발할 수 있습니다. 여기서 멈 추세 요.

우선 2 개의 이미지와 3 개의 측정만으로는 최적의 비교 메트릭을 정의하는 데 사용할 수있는 모든 종류의 통계 모델을 확인하기에 충분하지 않습니다.

나는 방법과 단서에 대한 질감 인식 논문을 살펴볼 수 있다고 생각합니다. 활성 필드입니다.

가치있는 것을 위해, 나는 두 가지 지각 해싱 함수 (DCT 및 랜덤 프로젝션 기반) 테스트를 실행했으며 소위 SIFT 디스크립터를 사용하여 약간의 시험을 수행했습니다. 이 기능은 3 개의 이미지에서 어떤 것도 결론 내릴 수 없지만 클래스 간 거리와 클래스 간 거리를 분리 할 수 ​​있습니다.

github의 코드입니다 .