감지 된 선을 기준으로 호모 그래피 계산

"완벽한 모델"과 이미지 포인트 사이의 대응점을 사용하여 이미지에서 카메라 평면까지의 호모 그래피를 계산할 수 있다는 것을 알고 있습니다.

나는 축구 피치 / 필드를 위해 그것을하고 있으며, 가장자리 감지를 사용하여 피치에서 흰색 선을 찾습니다.

그러나 카메라는 모든 피치를 항상 (항상) 커버하지는 않으므로 모든 코너를 볼 수는 없습니다. 모퉁이 만 모델에서 100 % 알려진 포인트입니다 (다른 구별 포인트는 없음).

따라서 문제는 선이 다른 선과 교차하지 않고 모퉁이를 형성하지 않는 한 선의 이미지 점만 알기 때문에 모델의 해당 "완벽 / 실제"좌표가 아닙니다.

내가 할 수있는 몇 가지 방법이 호모 그래피, 또는 후보의 호모 그래피의 경우에도 단지 세트를 계산하기 위해 감지 선을 사용은 감지 선이 서로하지 교차 할 코너를 만들 경우에도?

해당 실제 / 모델 좌표 (녹색 원)를 알 수있는 피치, 시야 및 피치 포인트를 보여주는 이미지 예, 시야에서 이후 완전히 쓸모없는 2 개의 선 예 , 나는 그들이 피치의 해당 현실 세계 / 모델에서 시작하거나 멈추는 지점에 대한 단서가 없습니다.

여기에 이미지 설명을 입력하십시오 빨간색 선은 사용하려는 선의 예이지만 실제 좌표를 모릅니다. 카메라 포즈에 따라 해당 지점이 "어디서나"있을 수 있기 때문에 추정하기가 어렵습니다.

— 헨릭 쿠스 알 스타드
소스

예시 이미지가 있습니까? 아니면 라인 감지에 대한 가능한 경우의 스케치? 귀하의 질문에 대한 짧은 대답은 "예, 가능합니다"라고 생각하지만 자세한 내용은 다음과 같습니다. :)

— penelope

예제 이미지를 제공 할 수 있습니까? 감지 된 선분이 교차하지 않거나 감지 된 선분을 선으로 확장 한 다음 교차점을 찾으려고 했습니까?

— ppalasek

질문에 이미지 예를 추가했습니다

— Henrik Kjus Alstad

당신은 이것을 알아 낸 적이 있습니까? 나는 결과에도 관심이있다.

답변:

이에 대한 두 가지 접근 방식을 설명하겠습니다.

1) 하나의 접근법에는 라인 매칭 알고리즘이 필요합니다. 선을 일치시킨 후 선의 끝점을 사용하여 호모 그래피를 계산할 수 있습니다. 이를 위해 EDLine 또는 LSD 기반 디스크립터가 최근 OpenCV에서 제안됩니다. 또한 해싱 및 빠른 일치도 구현됩니다. 여기 비디오를 확인하십시오 :

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

최근 opencv_contrib 저장소에는 이러한 메소드에 대한 소스 코드가 포함되어 있습니다.

선 끝 점이 노이즈가있는 경우 선을 직접 활용하여 호모 그래피를 계산할 수 있습니다. 그런 논문은 다음과 같습니다.

내부 보고서 : 2005-V04 이미지 쌍의 3 개의 선 또는 점에서 계산 된 상 동성 G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

내부 보고서 : 2003-V01 강력한 선 일치 및 상 동성 추정 동시 G. Lopez-Nicolas

호모 그래피를위한 라인의 확률 적 매칭 김태민 , 우지환 , 인소 권

2) 다음과 같은 필드에 고유 한 방법이 있습니다.

" 방송 하키 비디오의 수정을 위해 라인 및 타원 기능 사용 .", Gupta, Ankur, James J. Little 및 Robert J. Woodham 컴퓨터 및 로봇 비전 (CRV), 2011 Canadian Conference on. IEEE, 2011.

과

" 호모 그래피 추정에 라인과 포인트 대응을 결합 ." Dubrofsky, 엘란, 로버트 J. 우드 햄은 . 비주얼 컴퓨팅에 관한 국제 심포지엄. Springer Berlin Heidelberg, 2008.

아이디어는 다음과 같습니다. 계수로 계산 된 모든 행 는 매핑됩니다. 다른 이미지에서 는 다음을 사용합니다. $\mathbf{l}_i=(u,v,1)^T$ $\mathbf{l}_i^{'}=(x,y,1)^T$

l_{i}^{^{'}} = H^{T} l_{i}

$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$

이 형식으로 방정식을 DLT 방법에 직접 연결할 수 있습니다.

A_{i} = [\begin{matrix} - u & 0 & u x & - v & 0 & v x & - 1 & 0 & x \\ 0 & - u & u y & 0 & - v & v y & 0 & - 1 & y \end{matrix}]

$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$

유일한 차이점은 정규화이며 위의 참조에서 찾을 수 있습니다.

타원 추가 : 상관 포인트 원뿔 부에 놓여 의 경우는 . 이것은 변환 관계를 일으킨다 : $x$ $C$ $x^TCx=0$

C^{'} = H^{- T} C H^{- 1}

$C' = H^{-T}CH^{-1}$

위의 참고 자료에서는이 제약 조건을 DLT 알고리즘에 삽입하는 방법도 설명합니다.

타원과 선을 사용하여 강력한 투영 관계를 도출 할 수 있습니다.

— 툴가 버드
소스

선이 평행하지 않은 경우 교차점을 계산하여 참조 점으로 사용할 수 있습니다. 그림에서 자주색 점도 사용할 수 있습니다.

여기에 이미지 설명을 입력하십시오

그런데 선의 교차점이 이미지에있을 필요는 없습니다. 선이 평행 한 한

선이 평행하면이 선을 사용하여 추가 구속 조건을 얻을 수 있습니다. 예를 들어 N <4 점과 K 선이있는 경우 변환을 추정 할 수 있습니다

투영 변환 방정식은 다음과 같습니다.

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

목표는 계수 $a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

따라서 매핑 줄이 있으면 다음을 수행하십시오. $ax+by+c=0$ $Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

다음과 같이 다시 작성할 수 있습니다.

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$ 선 방정식을 계산했기 때문에 는 알려진 값입니다. 인 포인트 를 입력 하고 추가 제약 조건을 얻을 수 있습니다. 그것들을 포인트에서 얻는 제약 조건과 결합하면 추가 정보를 얻을 수 있습니다. 세 번째 점은 구속 조건 행렬에 선형 종속 선을 추가하므로 두 개 이상의 점에서 더 많은 정보를 얻지 못합니다. $(x,y)$ $ax+by+c = 0$

추가 참고 자료 " Elan Dubrovsky 의 호모 그래피 추정 " -2.3.1 라인의 호모 그래피 추정을 참조하십시오.

— 안드레이 루 브슈 테인
소스