2D 카메라를 사용한 3D 위치 추정

나는 카메라 (아이폰)를 가지고 있으며, 그 속성을 잘 알고있는 이미지에 3D 제어 객체가 있습니다. (내 컨트롤 개체). 움직이는 보조 객체도 있습니다. 궁극적 인 목표는 주어진 시간 동안 움직이는 물체의 3D 궤도를 설정하는 것입니다. (추적)

물어보고 싶습니다. 알 수 있습니까?

• 제어 물체까지의 전화 거리

• 각 후속 프레임에서 객체를 찾을 수있는 보조 객체입니다. 내 목표는 위에서 지적한대로 3D 궤적을 추정하는 것입니다.

보너스 질문, 우리는 제어 객체까지의 전화 거리를 설정할 수 있도록 시스템을 만들 수 있습니다 (선호하지는 않지만).

물체에 6 개의 알려진 점 (알려진 3D 좌표)이 있으면 $X, Y$ 과 $Z$) 객체 좌표계와 관련된 카메라의 위치를 ​​계산할 수 있습니다.

먼저 몇 가지 기본 사항.

균질 좌표는 유클리드 좌표의 벡터 표현입니다 $(X,Y,Z)$ 스케일 팩터를 추가 한 $\omega$ 균질 좌표가 $\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$. 자신의 계산에서 유지하려고$\omega=1$ 가능한 한 자주 (동일한 좌표를 마지막 요소로 나누어서 "정규화"한다는 것을 의미합니다. $\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$). 또한 2D 포인트에 대해 동종 프리젠 테이션을 사용할 수 있습니다.$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$ (그것을 기억하십시오 $\omega, X,Y$ 과 $Z$2D 또는 3D 포인트인지에 따라 각 포인트마다 다릅니다. 균일 한 좌표 표현으로 수학이 더 쉬워집니다.

카메라 매트릭스 $3\times4$ 3D 세계에서 이미지 센서로의 투영 매트릭스 :

$$\textbf{x} = P\textbf{X}$$

어디 $\textbf{x}$ 이미지 센서의 포인트 (픽셀 단위) $\textbf{X}$ 투영 된 3D 점입니다 (단위는 밀리미터라고합니다).

두 개의 3- 벡터 사이의 교차 곱은 다음과 같이 행렬-벡터 곱셈으로 정의 될 수 있습니다.

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

교차 생산에 주목하는 것도 유용합니다 $\textbf{v} \times \textbf{v} = \textbf{0}$.

이제 투영 행렬을 해결해 봅시다 $P$이전 방정식에서. 왼쪽의 투영 방정식에$\textbf{x}$교차 곱 행렬 :

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

아하! 결과는 제로 벡터 여야합니다. 이제 방정식을 열면 다음과 같은 결과가 나타납니다.

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

약간의 리팩토링으로 프로젝션 매트릭스를 얻을 수 있습니다 $P$ 매트릭스 외부 :

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

어디 $\textbf{P}_n$ 의 전치 $n$카메라 매트릭스의 : 행 $P$. 이전 (큰) 행렬 방정식의 마지막 행은 처음 두 행의 선형 조합이므로 추가 정보를 얻지 않고 생략 할 수 있습니다.

우리는 힘든 일을 할 수 있도록 노력합니다. 이전의 행렬 방정식은 알려진 각 3D-> 2D 대응에 대해 형성되어야합니다 (적어도 6 개 이상이어야 함).

이제 각 점 대응에 대해 위의 행렬의 처음 두 행을 계산하고 $2\times12$ 서로의 매트릭스와 새로운 매트릭스를 얻을 $A$ 어떤

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

우리는 12 개의 미지수와 (적어도) 12 개의 방정식을 가지므로 이것을 해결할 수 있습니다. 유일한 문제는 우리가 사소한 대답을하고 싶지 않다는 것입니다.

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

다행히도 단일 값 분해 (SVD)를 사용하여

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

방정식을 풀기 위해 행렬의 SVD를 계산하십시오. $A$가장 작은 고유 값에 해당하는 특이 벡터를 선택합니다. 이 벡터는 행렬 A의 널 벡터이며 카메라 행렬에 대한 솔루션입니다.$P$. 그냥 언 스택$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$ 그리고 형태 $P$.

이제 물체까지의 거리를 알고 싶었습니다. $P$ 다음과 같이 정의됩니다.

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

어디 $\textbf{C}$오브젝트 원점을 기준으로 한 카메라 위치입니다. 에서 해결할 수 있습니다$P$ 계산하여 $P$null 벡터

(Hartley, Zisserman-컴퓨터 비전의 다중 뷰 형상)

마지막으로 두 프레임에 대한 카메라 위치를 계산할 때 다음 두 방정식을 풀어 미지의 객체 위치 (또는 객체의 일부 점 위치)를 계산할 수 있습니다. $X$:

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

카메라 행렬을 해결하는 방법과 거의 같은 방식으로 진행됩니다.

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

등등.