이미지에서 지브라와 같은 패턴 찾기 (사진에서 구조 광 프린지 중심선 감지)

프린지가 피사체에 투사되고 사진이 찍히는 프로젝트에서 일하고 있습니다. 과제는 프린지 평면과 대상 표면 사이의 3D 교차 곡선을 수학적으로 나타내는 프린지의 중심선을 찾는 것입니다.

사진은 PNG (RGB)이며 이전의 시도에서는 그레이 스케일링과 차이 임계 값을 사용하여 흑백 "얼룩말 같은"사진을 찍었습니다.이 사진에서 각 프린지의 각 픽셀 열의 중간 점을 쉽게 찾을 수있었습니다. 문제는 임계 값을 설정하고 이산 픽셀 열의 평균 높이를 취함으로써 약간의 정밀 손실과 양자화가 발생한다는 것입니다.

이미지를 살펴본 결과, 임계 값이없는 이미지 (RGB 또는 그레이 스케일)에서 통계 스위핑 방법으로 직접 감지 된 경우 중심선이 더 연속적이며 (더 많은 포인트) 매끄럽게 (양자화되지 않음) 수 있습니다. (일부 범람 / 반복 컨볼 루션 등).

아래는 실제 샘플 이미지입니다.

어떤 제안이라도 대단히 감사하겠습니다!

다음 단계를 제안합니다.

1. 전경과 배경을 구분하기위한 임계 값을 찾으십시오.
2. 이진 이미지의 각 얼룩 (하나의 얼룩말 줄무늬)에 대해 방향별로 x가중치 중심 (픽셀 강도 기준)을 찾습니다 y.
3. y노이즈를 제거하기 위해 값을 부드럽게 할 수 있습니다.
4. (x,y)어떤 종류의 곡선을 피팅 하여 점을 연결하십시오 . 이 기사 가 도움 이 될 수 있습니다. 내 의견으로는 더 나쁘지만 높은 수준의 다항식에 적합 할 수도 있습니다.

1, 2, 4 단계를 보여주는 Matlab 코드는 다음과 같습니다. 자동 임계 값 선택을 건너 뛰었습니다. 대신 수동을 선택했습니다 th=40.

다음은 열당 가중 평균을 찾아서 얻은 곡선입니다.

다항식을 피팅 한 후의 곡선은 다음과 같습니다.

코드는 다음과 같습니다.

function Zebra()
    im = imread('http://i.stack.imgur.com/m0sy7.png');
    im = uint8(mean(im,3));

    th = 40;
    imBinary = im>th;
    imBinary = imclose(imBinary,strel('disk',2));
    % figure;imshow(imBinary);
    labels = logical(imBinary);
    props =regionprops(labels,im,'Image','Area','BoundingBox');

    figure(1);imshow(im .* uint8(imBinary));
    figure(2);imshow(im .* uint8(imBinary));

    for i=1:numel(props)
        %Ignore small ones
        if props(i).Area < 10
            continue
        end
        %Find weighted centroids
        boundingBox = props(i).BoundingBox;
        ul = boundingBox(1:2)+0.5;
        wh = boundingBox(3:4);
        clipped = im( ul(2): (ul(2)+wh(2)-1), ul(1): (ul(1)+wh(1)-1) );
        imClip = double(props(i).Image) .* double(clipped);
        rows = transpose( 1:size(imClip,1) );
        %Weighted calculation
        weightedRows  = sum(bsxfun(@times, imClip, rows),1) ./ sum(imClip,1);
        %Calculate x,y
        x = ( 1:numel(weightedRows) ) + ul(1) - 1;
        y = ( weightedRows ) + ul(2) - 1;
        figure(1);
        hold on;plot(x,y,'b','LineWidth',2);
        try %#ok<TRYNC>
            figure(2);
            [xo,yo] = FitCurveByPolynom(x,y);
            hold on;plot(xo,yo,'g','LineWidth',2);
        end
        linkaxes( cell2mat(get(get(0,'Children'),'Children')) )
    end        
end

function [xo,yo] = FitCurveByPolynom(x,y)
   p = polyfit(x,y,15); 
   yo = polyval(p,x);
   xo = x;
end

RGB 이미지를 사용하지 않습니다. 컬러 이미지는 일반적으로 카메라 센서에 "바이어 필터" 를 장착하여 만들어 지므로 일반적으로 얻을 수있는 해상도가 줄어 듭니다.

회색조 이미지를 사용하는 경우 설명한 단계 ( "얼룩말 이미지를 이진화, 중간 선 찾기")가 좋은 시작이라고 생각합니다. 마지막 단계로

• 찾은 중간 선에서 각 지점을 가져 가십시오.
• 위와 아래의 "얼룩말"선에있는 픽셀의 회색 값을 가져옵니다
• 최소 평균 제곱을 사용하여 포물선을이 회색 값에 맞추십시오
• 이 포물선의 정점은 개선 된 미드 라인 위치입니다

다음은 질문을 '경로 최적화 문제'로 모델링하여 문제에 대한 대안 솔루션입니다. 단순한 이진화 및 곡선 화 솔루션보다 더 복잡하지만 실제로는 더욱 강력합니다.

매우 높은 수준에서이 이미지를 그래프로 고려해야합니다. 여기서

1. 각 이미지 픽셀은이 그래프의 노드입니다

2. 각 노드는 이웃이라고 알려진 다른 노드에 연결되며이 연결 정의를 종종이 그래프의 토폴로지라고합니다.

3. 각 노드에는 가중치 (기능, 비용, 에너지 또는 호출하려는 대상)가 있으며이 노드가 원하는 최적의 중심선에있을 가능성을 반영합니다.

이러한 가능성을 모형화 할 수있는 한, '프린지의 중심선'을 찾는 문제 는 그래프 에서 로컬 최적 경로 를 찾는 문제가되며 Viterbi 알고리즘과 같은 동적 프로그래밍으로 효과적으로 해결할 수 있습니다.

이 접근법을 채택하는 몇 가지 장점은 다음과 같습니다.

1. 하나의 중심선을 여러 조각으로 나눌 수있는 임계 값 방법과 달리 모든 결과는 연속적입니다.

2. 이러한 그래프를 구성 할 수있는 자유가 많으면 다른 기능과 그래프 토폴로지를 선택할 수 있습니다.

3. 경로 최적화의 관점에서 결과가 최적입니다

4. 노이즈가 모든 픽셀에 균등하게 분산되어 있으면 최적의 경로가 안정적으로 유지되므로 솔루션이 노이즈에 대해 더욱 강력 해집니다.

위의 아이디어에 대한 간단한 데모가 있습니다. 가능한 시작 및 종료 노드를 지정하기 위해 사전 지식을 사용하지 않기 때문에 가능한 모든 시작 노드에서 wrt를 단순히 디코딩합니다.

퍼지 엔딩의 경우 가능한 모든 엔딩 노드에 대한 최적의 경로를 찾고 있기 때문입니다. 결과적으로 어두운 영역에 위치한 일부 노드의 경우 강조 표시된 경로는 여전히 로컬 최적 경로입니다.

퍼지 경로의 경우 찾은 후 매끄럽게하거나 원시 강도 대신 매끄럽게 한 일부 기능을 사용할 수 있습니다.

시작 및 종료 노드를 변경하여 부분 경로를 복원 할 수 있습니다.

이 바람직하지 않은 지역 최적 경로를 정리하는 것은 어렵지 않습니다. viterbi 디코딩 후 모든 경로의 가능성이 있으므로 다양한 사전 지식을 사용할 수 있습니다 (예 : 동일한 소스를 공유하는 사용자에게는 최적의 경로가 하나만 필요하다는 것을 알 수 있습니다.)

자세한 내용은 용지를 참조하십시오.

 Wu, Y.; Zha, S.; Cao, H.; Liu, D., & Natarajan, P.  (2014, February). A Markov Chain Line Segmentation Method for Text Recognition. In IS&T/SPIE 26th Annual Symposium on Electronic Imaging (DRR), pp. 90210C-90210C.

위의 그래프를 만드는 데 사용되는 간단한 파이썬 코드 조각이 있습니다.

import cv2
import numpy as np
from matplotlib import pyplot
# define your image path
image_path = ;
# read in an image
img = cv2.imread( image_path, 0 );
rgb = cv2.imread( image_path, -1 );

# some feature to reflect how likely a node is in an optimal path
img = cv2.equalizeHist( img ); # equalization
img = img - img.mean(); # substract DC
img_pmax = img.max(); # get brightest intensity
img_nmin = img.min(); # get darkest intensity
# express our preknowledge
img[ img > 0 ] *= +1.0  / img_pmax; 
img[ img = 1 :
    prev_idx = vt_path[ -1 ].astype('int');
    vt_path.append( path_buffer[ prev_idx, time ] );
    time -= 1;
vt_path.reverse();    
vt_path = np.asarray( vt_path ).T;

# plot found optimal paths for every 7 of them
pyplot.imshow( rgb, 'jet' ),
for row in range( 0, h, 7 ) :
    pyplot.hold(True), pyplot.plot( vt_path[row,:], c=np.random.rand(3,1), lw = 2 );
pyplot.xlim( ( 0, w ) );
pyplot.ylim( ( h, 0 ) );

다른 접근 방식과 약간 다르므로 답변을 게시해야한다고 생각했습니다. 나는 이것을 Matlab에서 시도했다.

• 모든 채널을 합산하고 이미지를 생성하므로 모든 채널의 가중치가 동일
• 이 이미지에서 형태 학적 클로징 및 가우시안 필터링 수행
• 결과 이미지의 각 열에 대해 로컬 최대 값을 찾아 이미지를 구성하십시오.
• 이 이미지의 연결된 구성 요소를 찾습니다

여기서 볼 수있는 한 가지 단점은이 방법이 줄무늬의 일부 방향에서는 제대로 수행되지 않는다는 것입니다. 이 경우 방향을 수정하고이 절차를 적용해야합니다.

Matlab 코드는 다음과 같습니다.

im = imread('m0sy7.png');
imsum = sum(im, 3); % sum all channels
h = fspecial('gaussian', 3);
im2 = imclose(imsum, ones(3)); % close
im2 = imfilter(im2, h); % smooth
% for each column, find regional max
mx = zeros(size(im2));
for c = 1:size(im2, 2)
    mx(:, c) = imregionalmax(im2(:, c));
end
% find connected components
ccomp = bwlabel(mx);

예를 들어 이미지의 중간 열을 가져 오면 해당 프로필은 다음과 같아야합니다 (파란색은 프로필입니다. 초록색은 로컬 최대 값입니다)

모든 열에 대한 로컬 최대 값을 포함하는 이미지는 다음과 같습니다.

연결된 구성 요소는 다음과 같습니다 (일부 줄무늬는 끊어졌지만 대부분 연속 영역이 나타남).