평면 테이블에 여러 객체가있는 이미지가 주어진 경우 각 객체에 대한 세그먼트 화 마스크의 출력이 필요한 알고리즘을 구현하려고합니다. CNN과 달리, 여기서 목표는 익숙하지 않은 환경에서 객체를 감지하는 것입니다. 이 문제에 대한 최선의 접근 방법은 무엇입니까? 또한 온라인으로 사용할 수있는 구현 예제가 있습니까?

편집 : 죄송합니다. 질문이 약간 오도되었을 수 있습니다. "친숙하지 않은 환경"의 의미는 객체가 알고리즘에 알려지지 않았을 수 있다는 것입니다. 알고리즘은 객체가 무엇인지 이해할 필요는 없지만 객체 만 감지해야합니다. 이 문제에 어떻게 접근해야합니까?

빠른 답변

에서 유명한 Mean Shift 알고리즘의 에서 업그레이드 된 Mean Shift LSH 는 이미지 분할 기능으로 잘 알려져 있습니다.$O(n)$$O(n^2)$

몇 가지 설명

이미지를 세그먼트 화하기 위해 진정한 감독되지 않은 접근 방식을 원한다면 클러스터링 알고리즘을 사용하십시오 . 사실 시간 복잡성 과 특이성 이 다른 많은 알고리즘이 존재한다 . 가장 유명한 것 인 Means를 취하십시오 .O 너무 빠르지 만 얼마나 많은 모양이 있는지에 대한 정보없이 알 수없는 이미지를 탐색하여 원하는 클러스터 수를 지정해야합니다. 그 안에 선물. 또한 심지어 당신이, 우리가이 모양이 다른 점이다 임의의 것을 현재 가정 할 수 있습니다 얼마나 많은 모양을 알고 있다고 가정하면 는 타원 클러스터를 찾을 수 디자인과이기 때문에 -Means 실패 하지 않음O ( n ) $K$$O(n)$$K$ 임의의 모양.

반대편 에는 임의의 모양으로 원하는 것을 모를 때 유용한 클러스터 수를 자동으로 찾을 수있는 평균 이동이 있습니다 .

물론 Means 의 매개 변수를 다른 평균 Shift 매개 변수로 대체하면 미세 조정하기가 까다로울 수 있지만 마술 운동을하지 않으면 마술을 할 수있는 도구는 없습니다.$K$$K$

이미지 분할 클러스터링에 대한 조언

유클리드 거리에 더 적합한 RGB에서 LUV로 색상 공간을 변환하십시오.

$K$ 평균 대 평균 시프트 LSH 시간 복잡도

• 평균 이동 :$O(\alpha.n)$
• K- 평균 :$O(\beta.n)$
• $\alpha \gt \beta$

Mean Shift LSH는 느리지 만 필요에 더 적합합니다. 여전히 선형으로 유지 되며 언급 된 구현으로 확장 가능 합니다.

추신 : 내 프로필 사진은 Mean Shift LSH가 어떻게 작동하는지 알아내는 데 도움이된다면 직접 적용한 것입니다.

CVPR 2018 : 제출 된 모든 작품을 검토해야 할 수도 있습니다.

이 작업에서 그들은 네트워크에 알려지지 않은 객체까지 모든 것을 분할하려고 시도합니다. 마스크 R-CNN은 전송 학습 하위 네트워크와 함께 사용되어 거의 모든 것을 분할하는 데 매우 좋은 결과를 얻습니다.

이미지 분할을위한 최첨단 (SOTA)은 Facebook의 Mask-RCNN 입니다.

실제 객체를 특징으로하는 COCO 또는 Pascal 과 같은 데이터 세트에 대해 일반적으로 학습되지만 실제 데이터 유무에 관계없이 선택한 데이터 세트에서 재 훈련 할 수 있습니다.

Facebook은 Apache2 라이센스에 따라 구현 ( Detectron )을 제공합니다 . 시도 해봐!

실제로, 당신의 작업이 감독됩니다. 여기서Segnet 구현 중 하나에 액세스 할 수있는 목적에 적합한 아키텍처가 될 수 있습니다 . SegNet은지도 학습을 통해 픽셀 단위 클래스 레이블을 예측하는 방법을 배웁니다. 따라서 우리는 해당 사실 라벨과 함께 입력 이미지의 데이터 세트가 필요합니다. 라벨 이미지는 단일 채널이어야하며 각 픽셀은 클래스 ...로 라벨이 지정되어야합니다 .

또한 작업에 적합한 완전 컨볼 루션 네트워크 를 살펴보십시오 .

질문의 편집 내용에 따라 추가 정보를 추가합니다. 이 작업에 적용 할 수있는 많은 방법이 있습니다. 기본적으로 가장 쉬운 방법은 배경 레이블을 사용하고 언급 된 아키텍처를 사용하여 배경으로 모르는 클래스를 분류하는 것입니다. 이렇게하면 배경 클래스와 겹칠 수있는 레이블이 생길 수 있습니다.이 접근법의 단점은 아마도 훈련 된 레이블이 입력에 자주 사용되는 경우 비교적 가벼운 버전의 아키텍처를 가질 수 있다는 것입니다 알 수없는 클래스를 인식합니다.

이것은 당신이 찾고있는 것일 수 있습니다. 분할이 아닌 이미지 분할을 요청하므로 이미지의 semantic / instance각 세그먼트에 레이블을 지정할 필요가 없다고 가정합니다.

이 방법은 scene-cut감독되지 않은 방식으로 이미지를 클래스에 구애받지 않는 영역으로 분할합니다. 실내의 복잡한 환경에서는 매우 효과적입니다.

종이 링크 : Arxiv

코드 : 코드