OpenCV에서 증강 현실 SDK를 개발 중입니다. 주제에 대한 튜토리얼, 따라야 할 단계, 가능한 알고리즘, 실시간 성능을위한 빠르고 효율적인 코딩 등을 찾는 데 몇 가지 문제가있었습니다.

지금까지 다음 정보와 유용한 링크를 모았습니다.

OpenCV 설치

최신 릴리스 버전을 다운로드하십시오 .

여기에서 설치 가이드를 찾을 수 있습니다 (플랫폼 : linux, mac, windows, java, android, iOS).

온라인 문서 .

증강 현실

begginers를 들어 여기 에서 OpenCV에서 간단한 증강 현실 코드입니다. 좋은 출발입니다.

잘 설계된 최첨단 SDK를 검색하는 모든 사람을 위해 OpenCV 기능을 고려하여 마커 추적을 기반으로하는 모든 증강 현실이 가져야하는 일반적인 단계를 찾았습니다.

1. 메인 프로그램 : 모든 클래스 생성, 초기화, 비디오에서 프레임 캡처 .

2. AR_Engine 클래스 : 증강 현실 애플리케이션의 일부를 제어합니다. 두 가지 주요 상태가 있어야합니다.

   • 감지 : 장면에서 마커 감지를 시도합니다.
   • 추적 : 감지되면 다음 프레임에서 마커를 추적 하기 위해 더 낮은 계산 기술을 사용합니다.

또한 모든 프레임에서 카메라의 위치와 방향을 찾는 알고리즘이 있어야합니다. 이는 장면에서 감지 된 마커와 오프라인에서 처리 한 마커의 2D 이미지 사이의 호모 그래피 변환을 감지하여 달성됩니다. 여기 에이 방법에 대한 설명이 있습니다 (18 페이지). 포즈 추정의 주요 단계는 다음과 같습니다.

1. 카메라 고유 매개 변수를로드합니다 . 이전에 보정을 통해 오프라인으로 추출되었습니다.

2. 추적 할 패턴 (마커) 로드 : 추적 할 평면 마커의 이미지입니다. 나중에 장면의 특징과 비교할 수 있도록이 패턴에 대한 특징을 추출하고 설명자 ( 키포인트 )를 생성 해야합니다. 이 작업의 알고리즘 :

   • 체로 치다
   • 빠른
   • 서핑

3. 모든 프레임 업데이트에 대해 장면에서 특징 을 추출 하기위한 감지 알고리즘을 실행하고 설명자를 생성합니다. 다시 몇 가지 옵션이 있습니다.

   • 체로 치다
   • 빠른
   • 서핑
   • FREAK : 새로운 방식 (2012)이 가장 빠르다고 주장했습니다.
   • 구

4. 패턴과 장면 설명자 간의 일치 를 찾습니다 .

   • FLANN 매처

5. 해당 일치 항목에서 Homography 매트릭스를 찾습니다 . RANSAC을 사용하여 일치 집합에서 inlier / outliers를 찾을 수 있습니다.

6. 호모 그래피에서 카메라 포즈 를 추출합니다 .

   • Homography의 Pose 에 대한 샘플 코드 .
   • Pose의 Homography 에 대한 샘플 코드 .

완전한 예 :

• Aruco
• OpenCV 샘플 마스터하기

AR 애플리케이션은 종종 휴대 기기에서 실행되기 때문에 다른 기능 감지기 / 설명자를 고려할 수도 있습니다.

• 변덕
• 구

일반적으로 마커를 선택할 수있는 경우 먼저 에지 감지기를 사용하여 정사각형 대상을 감지 한 다음 Hough 또는 단순히 윤곽선을 감지 한 다음 내부 디자인에서 특정 마커를 식별합니다. 일반적인 포인트 매처를 사용하는 대신.

잘 작성된 예제 코드 는 Aruco 를 참조 하십시오 .