기능 감지 전 이미지 처리

해리스 코너를 기반으로 기능 탐지기를 구현했습니다 . 대부분 잘 작동하지만 성능이 좋지 않은 경우가 있습니다. 개별적으로 구성하지 않고 다양한 이미지에서 작동하도록해야합니다.

검출기 임계 값에 문제가 있습니다. 너무 낮게 설정하면 감지기가 너무 여러 번 터져서 많은 기능이 발생합니다. 너무 높게 설정하면 기능이 너무 적습니다.

설명자 벡터를 할당하기 전에 기능 수를 줄이기 위해 ANMS (Adaptive Non-Maximal Suppression)를 통해이 문제를 부분적으로 해결 했습니다.

그러나 이와 같은 이미지가 문제입니다.

여기에 이미지 설명을 입력하십시오

명암비가 낮고 모든 이미지에 대해 임계 값을 너무 낮게 "저렴"할 수 없습니다. 탐지기는 이러한 이미지에서 작동하지만 다른 이미지에는 수많은 기능이 포함되어있어 ANMS로 필터링 속도가 느려져 전반적인 성능이 저하 될 수 있습니다.

기능 감지 전에 이미지를 조정하려고 생각했습니다. 아마도 히스토그램 이퀄라이제이션이 효과가있을 것입니다. 전체 대비 변경이 기능 설명자에 영향을 미치지 않기 때문에 이는 유효한 작업 일 수 있습니다 (밝기와 대비 변경에 영향을받지 않음).

어댑티브 임계 값이나 휴리스틱으로 작업하는 것이 더 효과적 일 수 있습니다.

다른 제안?

image-processing local-features

— 리보
소스

@Seyhmus Güngören : 아. 충분한 솔루션을 찾았지만 지금까지의 답변을 받아 들였지만 여전히 더 나은 또는 더 정교한 답변을 기다리고 있습니다.

— Libor

@Libor 현재 사례에서 질문을 해결하는 것이 더 매력적일 수 있으므로 새로운 질문에 유용합니다.

— Seyhmus Güngören

@Libor 평균 히스토그램과 같은 가우스를 선택하여 히스토그램 일치를 고려한 평균 128 점입니까?

— Seyhmus Güngören

@ SeyhmusGüngören 네, 나는 이것에 대해 생각하고있었습니다. 아마 다른 아이디어로는 시도하지 않을 것입니다.

— Libor

@Libro 탐지 된 기능을 어떻게 사용할 계획인지 말씀해 주시겠습니까? 내 유일한 아이디어는 콘텐츠 기반 이미지 검색 또는 일치입니다 (예 : 호모 그래피 추정). 그것이 내가 함께한 유일한 일이기 때문에 잘못되었을 수도 있습니다. 그들을 위해, 나는 기여할 수 있습니다.

— 페넬로페

답변:

간단한 가장자리 감지 (예 : Laplace)를 수행하고 결과의 평균 강도를 해리스 코너의 임계 값을 기준으로 사용할 수 있습니다. 대비가 낮 으면 가장자리가 줄어들고 강도가 낮아지고 대비가 높으면 가장자리가 많고 강도가 높아집니다.

이 문제로 고민하는 유일한 사람은 아닙니다. 종이 데이터베이스에 액세스 할 수 있으면 다음과 같이 재미있을 수 있습니다.

블록 처리 기반의 자동 적응 형 해리스 코너 감지 알고리즘

(자동) 적응 형 해리스 코너 감지를 더 검색하는 것이 좋습니다.

— 게르 텐
소스

모순이 아닙니다. 검출기에는 1) 기능 감지, 2) 기능 설명의 두 단계가 있습니다. 히스토그램 이퀄라이제이션은 2 단계가 아닌 1 단계 (더 많은 기능이 감지 됨)에 영향을 미칩니다. 탐지 할 기능이 적당량이므로 많이 필터링 할 필요가 없습니다.

— Libor

좋아, 나는 이것을 생각했지만 귀하의 질문에서 완전히 명확하지 않았습니다. 엣지 이미지를 피처 디텍터의 입력으로 사용하는 것이 아니라 임계 값의 값을 측정하는 것입니다.

— Geerten

고마워, 그것은 흥미로운 생각입니다. 해리스 코너 검출기는 미분 이미지 (dx, dy, dxy)를 사용하여 각 포인트에서 코너 측정을 구성합니다. 이것은 이미 에지 측정을 기반으로하기 때문에 이제 코너 응답 함수의 히스토그램과 해당 히스토그램의 계산 임계 값을 취하는 것에 대해 생각하고 있습니다. 감사합니다 :)

— Libor

도움이 될만한 서류를 추가했습니다.

— Geerten

정말 해리스 코너를 사용해야합니까? 더 나은 특성을 가진 Harris 코너 이후에 개발 된 많은 기능이 있습니다. 이 기사에서 좋은 개요를 찾을 수 있습니다.

AL Dahl, H. Aanæs 및 KS Pedersen. 최상의 기능 검출기 찾기-디스크립터 조합

이 기사와 개인적인 경험을 바탕으로 MSER (Maximally Stable Extermal Regions)로 전환하거나 SIFT 파이프 라인의 일부로 처음 제공된 기능인 DoG (Difference of Gaussians) 와 결합하는 것이 좋습니다 .

문제가 실제로 대비가 낮은 경우 MSER 기능은 실제로 행복하게 만들어야합니다. 요컨대, 이들은 일련의 서로 다른 임계 값 이진화를 통해 이미지의 안정적인 영역에 연결됩니다.

기능 추출 프로세스는 디스크립터 계산과 무관하므로 새로운 기능 추출 방법을 프로세스에 통합하기가 어렵지 않습니다.

또한 멀티 스케일 해리스 코너 를 해리스 코너 의 확장으로 들었습니다 . 나는 그들에 대해 잘 모르고 개인적 으로이 주제에 대한 독서 자료를 추천 할 수 없으므로 기사 검색을하고 가장 흥미로운 자료를 선택하십시오.

또한 게시 한 이미지에 낮은 대비 이외의 다른 문제가있을 수 있습니다 . 내 개인적인 경험에서, 덤불이나 당신이 가진 밭과 같은 초목과 아름다운 거품이 많은 구름은 "일반적인 특징" 을 만들어내는 경향이 있습니다.

실제로 이것은 서로 다른 관점에서 두 이미지에서 형상 일치를 수행 할 때 이러한 종류의 표면에서 추출 된 형상이 잘못 일치하는 경향이 있음을 의미합니다. 나는 이 문제를 겪었을 때 두 이미지 사이의 호모 그래피 변환을 계산하는 데 사용되는 기능 일치에 사용되는 기능 추출을 다루는 마스터 논문 을 작성 했습니다. 당시에는이 문제를 설명하는 다른 기사를 찾지 못했지만 논문이 전반적인 접근 방식에 도움이 될 수 있습니다.

마지막으로, 설정 한대로 대부분의 이미지에서 잘 작동하는 임계 값과 기술은 대부분 동질적인 영역으로 인해 이러한 종류의 이미지에서 작은 특징으로 추출됩니다. 이러한 종류의 이미지는 기능 일치 (이미지 스티칭으로 확장 될 수 있음), 콘텐츠 기반 이미지 검색에 문제가 있으며 추적 및 유사한 응용 프로그램을 가정합니다. 현재 어떤 방법도 잘 작동하지 않습니다.

이 답변 에서 간단히 설명 하기 시작한 접근법과 같이 이러한 종류의 이미지와 일반적인 사례에서 잘 작동하는 방법은 현재 연구되고 연구되고 있습니다.

— 페넬로페
소스

자세한 답변을 보내 주셔서 감사합니다. 여가 시간이있을 때 논문을 살펴 보겠습니다. 구현의 복잡성과 특허 문제라는 두 가지 문제에 직면 한 기능 탐지기를 구현하고있었습니다. 내 응용 프로그램은 상용 이미지 정렬 및 스티칭 라이브러리이므로 구현에 필요한 리소스와 시간이 제한적이며 SIFT 또는 SURF에 대한 비용을 지불 할 수 없습니다. 아마도 MSER 또는 다른 고급 검출기 / 설명 자로 전환 할 것입니다. 그러나 지금까지 해리스 코너는 조명이 나쁜 이미지를 제외하고는 잘 작동합니다.

— Libor

@Libor 그것의 아름다움 : 전환 할 필요가 없습니다. 기존 탐지-> 설명 파이프 라인에 새로운 기능을 추가 할 수 있습니다 . 기능 추출 방법에 관계없이 항상 동일한 전술로 설명자를 계산할 수 있습니다. 내가 쓴 모든 것 중에서 감지 / 설명을위한 다양한 옵션을 비교 한 첫 번째 기사가 가장 유용 할 수 있습니다.

— penelope

큰 디스크립터를 수집 한 다음 PCA를 사용하여 디스크립터의 속도와 식별력을 향상 시켰습니다. 그러나 PCA는 대규모 데이터 세트에 비용이 많이 듭니다. 이 작업 은 디스크립터의 일반적인 향상으로 인해 매력적이었습니다. 지금까지 내가 사용하는 것은 "피처 공간 이상치 제거"입니다. 이것은 단순히 1-nn / 2-nn 거리를 기준으로 기능 일치를 임계 값으로 지정합니다. 이것은 그의 논문에서 D. Lowe에 의해 설명되며 매우 희미한 공간에서 거리의 쉘 속성을 이용하기 때문에 매우 우수한 차별 력을 가지고 있습니다.

— Libor

검출기의 경우, 이미지 모자이크 (파노라마, 현미경)에서 줌은 일반적으로 변경되지 않고 일치하는 이미지들 사이에 아핀 또는 프로젝션 변형이 상당히 작기 때문에, 큰 시점 변화 및 스케일 불변은 문제가되지 않습니다. 주요 문제는 실제로 너무 적거나 너무 많은 기능이 감지되고 디스크립터가 부족하다는 것입니다.

— Libor

나는 개인적으로 디스크립터 선택에 대해 잘 모르고 SIFT로만 일했습니다. 그러나 당신이 제공 한 링크는 DAISY 디스크립터와 유사하다고 언급했으며, 나는 또한 매우 훌륭하다고 평가되는 것을 기억합니다. 더 많은 피처 추출기를 결합하면 더 많은 피처를 제공 할 수 있으며, 스케일 불일치는 필요하지 않더라도 플러스가 될 수 있습니다. 여러 기능 추출기로 작업하면 차별적 인 힘이 증가한다고 언급 한 작품을 읽었습니다 (원하는 경우 링크를 찾을 수 있음).

— penelope