픽셀 기반 분류와 객체 기반 분류의 구별?

원격 감지 도메인에서 픽셀 기반과 객체 기반 분류의 차이점을 명확하게 이해하려고 애 쓰고 있으며이 커뮤니티의 누군가가 통찰력을 제공 할 수 있기를 바랍니다.

지금까지 내가 알고있는 정보를 바탕으로 현재 나의 이해는 다음과 같습니다.

픽셀 기반 분류 : 분류는 해당 개별 픽셀에 대해 사용 가능한 스펙트럼 정보 만 사용하여 픽셀 단위로 수행됩니다 (예 : 지역 내의 픽셀 값은 무시 됨). 이러한 의미에서 각 픽셀은 분류 알고리즘에 대한 훈련 예를 나타내고,이 훈련 예는 n- 차원 벡터의 형태 일 것이며, 여기서 n은 이미지 데이터의 스펙트럼 대역의 수이다. 따라서, 훈련 된 분류 알고리즘은 이미지에서 각각의 개별 픽셀에 대한 클래스 예측을 출력 할 것이다.

객체 기반 분류 : 분류는 각 픽셀이 서로 관련되어있을 때 공간 속성을 고려하여 지역화 된 픽셀 그룹에서 수행됩니다. 이러한 의미에서, 분류 알고리즘에 대한 훈련 예는 픽셀 그룹으로 구성 될 수 있고, 훈련 된 분류 알고리즘은 그룹별로 픽셀에 대한 클래스 예측을 출력 할 것이다. 조잡한 예를 들어, 이미지는 동일한 크기의 n 개의 세그먼트로 분할 될 수 있으며 각 세그먼트에는 클래스가 부여됩니다 (즉, 객체를 포함하거나 객체를 포함하지 않음).

이 용어의 의미와 관련하여이 생각이 정확합니까, 아니면 내가 놓친 것이 있습니까?

이해는 일반적으로 정확하지만 객체 기반 분류에 대한 설명에는 위험이 있습니다. '객체'라는 용어는 주어진 객체를 포함하는지 여부와 관계없이 픽셀 그룹을 나타냅니다.
또한 객체 기반 분류의 중심 목표는 동일한 크기의 세그먼트를 갖지 않고 이미지를 다양한 크기 의 내부적으로 균일 한 덩어리로 "잘라 내기"/ 세그먼트 화하는 것입니다 . 마지막으로, 객체 기반 분류에 대한 학습 예제는 일반적으로 이미지 분할에서 생성 된 하나 이상의 청크입니다.

대체로 위의 내용은 설명에 약간의 변형 일뿐입니다.

이제 각 부분을 언제 적용해야하는지, 그리고 어떻게 그들의 강점을 결합시킬 수 있는지에 대한 핵심 부분을 살펴 보겠습니다.

픽셀 기반 분류와 관련하여 문제가 없습니다. 각 픽셀은 n 차원 벡터이며 Support Vector Machines, MLE, knn 분류기 등을 사용하는지 여부에 따라 일부 메트릭에 따라 클래스에 할당됩니다.

그러나 지역 기반 분류 기준에 관한 한, 지난 몇 년 동안 GPU, 방대한 양의 데이터, 클라우드 및 광범위한 오픈 소스 알고리즘 덕분에 광범위한 알고리즘의 조합으로 인해 엄청난 발전이있었습니다. github에 의해). 컴퓨터 비전 / 분류에서 가장 큰 발전 중 하나는 CNN (Convolutional Neural Network)입니다.. 컨볼 루션 레이어는 기존 픽셀 기반 분류기와 같이 색상을 기반으로 할 수있는 기능을 "학습"할뿐만 아니라 에지 검출기와 픽셀 영역 (따라서 컨볼 루션 부분)에 존재할 수있는 모든 종류의 기능 추출기를 생성합니다. 픽셀 기반 분류에서 추출 할 수 없습니다. 즉, 다른 유형의 픽셀 영역 중간에있는 픽셀을 잘못 분류 할 가능성이 적습니다. 분류를 실행하고 아마존 중간에 얼음을 넣은 경우이 문제를 이해할 수 있습니다.

그런 다음 컨볼 루션을 통해 학습 한 "기능"에 완전히 연결된 신경망을 적용하여 실제로 분류를 수행합니다. CNN의 다른 큰 장점 중 하나는 일반적으로 회선 및 분류 계층 사이에 중간 계층이 있으므로 풀링 및 드롭 아웃을 사용하여 오버 피팅을 피하고 주변 문제를 해결하는 중간 계층이 있기 때문에 CNN이 스케일 및 회전이 변하지 않는다는 것입니다 규모와 방향.

이 분야의 개척자 중 한 명인 Andrei Karpathy의 Standord 수업이어야 하며, 전체 강의 시리즈는 YouTube에서 구할 수 있지만 convolutional neural network에 대한 수많은 리소스 가 있습니다 .

물론, 픽셀 대 영역 기반 분류를 처리하는 다른 방법이 있지만, 이것은 현재 최첨단의 접근법이며, 기계 번역 및 자율 주행 자동차와 같은 원격 감지 분류를 넘어서는 많은 응용 분야를 가지고 있습니다.

다음은 TensorFlow 설정 및 AWS 실행 지침을 포함하여 태그가있는 교육 데이터에 Open Street Map을 사용 하는 지역 기반 분류 의 또 다른 예입니다 .

다음은 에지 감지를 기반으로 한 분류기의 Google 어스 엔진을 사용하는 예입니다.이 경우 가우시안 커널 및 회선을 사용하지만 피벗 관개를 사용하지만 지역 / 에지 기반 접근 방식의 힘을 보여줍니다.

픽셀 기반 분류에 비해 객체의 우수성이 상당히 널리 받아 들여지고 있지만 여기 에 객체 기반 분류 의 성능을 평가하는 Remote Sensing Letters 의 흥미로운 기사가 있습니다.

마지막으로, 흥미로운 예는, 지역 / 컨볼 루션 기반 분류기를 사용하더라도 컴퓨터 비전은 여전히 ​​매우 어렵다는 것을 보여줍니다. 다행히도 Google, Facebook 등의 가장 똑똑한 사람들은 알고리즘을 연구하여 개, 고양이 및 다른 유형의 개와 고양이. 따라서 원격 감지에 관심이있는 사용자는 밤에 쉽게 잠을 잘 수 있습니다. : D

매우 간단한 대답은 다음과 같습니다.

트레이닝 정보로 스펙트럼 정보 (픽셀 강도) 만 사용하는 경우 픽셀 기본 분류를 수행합니다.

공간 (인접 픽셀) 및 스펙트럼 정보를 모두 훈련 세트로 사용하는 경우 객체 기반 분류 (예 : DBScan과 같은 분할 기반 알고리즘 사용)를 수행합니다. Computer Vision에서이 DBScan은 수퍼 픽셀 추출에 사용되었습니다.

참고 : 기능 추출을 위해 어떤 의미 (크기, 모양, 컨텍스트 / 텍스처)로 스펙트럼 정보를 사용할 수 있습니다.

스펙트럼 정보를 사용하여 피처 추출을 수행하기 위해 다른 접근 방식을 사용할 수 있습니다.

주된 문제는 어떻게 특징 추출을위한 가장 적절한 접근 방법을 찾아서 제기 된 문제에 대해 효율적인 알고리즘 (가장자리 검출, 스펙트럼 기반 세분화, 클러스터링)을 적용하여 스펙트럼 정보에서 정보를 끌어 내는지에 대한 것입니다.

훈련 집합을 만들기 위해 스펙트럼 및 공간 정보 모두에서 훌륭한 분석을 수행하기 위해 컨볼 루션 행렬을 생각할 수 있습니다.

참고 자료 : Remote Sensing and GIS Domain에서 3 년 이상 근무한 경험이 있습니다.