CSI 이미지 해상도 향상 : 얼마나 실제적입니까?

그래서 나는 CSI New York 의 다음 1 분 길이의 Youtube 클립을 보았습니다 . 클립에서 표준 은행 카메라의 기록으로 보이는 것을 사용하여 최소 100 개를 확대하고 소녀의 눈을 반영하여 범인의 이미지를 봅니다.

자, 이것이 완전히 말도 안된다고 생각해서 실제로는 정말 재미 있다고 생각했습니다.

그러나 제 친구는 비디오의 여러 프레임이 훨씬 높은 단일 해상도 이미지를 생성하는 절차 인 "초 고해상도"와 같은 이미지 향상을위한 매우 유용한 트릭이 있다고 주장했습니다. 그는 쇼가 진실을 약간 구부린다 고 생각했지만 얼마입니까?

솔직히, 나는 실제로 이것들에 대해 아무것도 모른다. 그래서 나의 질문은 :

현대적인 이미지 해상도 향상은 얼마나 좋습니까? 또한 CSI 텔레비전 프로그램은 얼마나 멀리 떨어져 있습니까?

고맙습니다,

비고 : 이것은 회의론자 사이트에 게시 되어 있습니다. 나는 여기에 더 나은 답변을받을 수 있다고 들었습니다.

짧은 대답 : 매우 좋은 결과를 얻을 수 있지만 특정 조건 하에서 만 링크 된 비디오 클립에 표시된 것과 거의 근접하지는 않습니다.

우리 회사 인 Amped Software 는 법의학 및 정보 응용 프로그램을위한 이미지 및 비디오 처리 소프트웨어를 개발하므로 기본적으로 CSI 소프트웨어의 실제 대응 물입니다.

품질 향상의 일반적인 문제와 관련하여, 우리 시장에서는 TV 시리즈와 할리우드 영화가 기대하는 것에 부응하는 것이 큰 문제라고 말할 수 있습니다. 당신은 우리에 볼 수있는 샘플 페이지 우리가 얻을 수있는 때때로 결과는 정말 놀라운 것을,하지만 우리는 몇 가지 조건을 얻을 수 있다는 것을 이해하는 것이 중요합니다 : 디스터브에 의해 덮여 정보가있는 경우, 그러나 그것은 거기 복구 할 수 있습니다. 정보가 없다면, 우리는 할 수 없으며 그것을 다시 만들면 안됩니다 . 이 특정 적용에서는 시각적 관점에서 결과를 얻는 것뿐만 아니라 법정에서 승인해야하는 과학적 워크 플로를 따르는 것이 필수적 입니다.

작년에 제가 작업 한 거의 200 건의 사례에 대한 문제와 결과를 설명 하는 연구 를 발표 했으며 최종 결과는 다음과 같습니다.

• 사례의 50 % 이상에서 수행 할 작업이 없습니다 (예 : 5x2 픽셀 인 자동차 번호판 복구는 전 세계의 모든 소프트웨어에서 완전히 불가능합니다).
• 경우의 약 30 %에서 약간의 결과를 얻을 수 있습니다 (예 : 번호판의 문자를 복원하거나 얼굴의 전체 모양을 개선).
• 사례의 10 %에서 좋은 결과를 얻습니다 (예를 들어 대부분의 번호판을 얻습니다).

이 모든 사례에는 심각한 품질 문제가있었습니다. 그들의 품질이 좋으면 우리는 그들에게 노력하도록 요구받지 않았습니다.

특별히 해상도 향상 과 관련하여 :

• 이미지를 확대하면 누락 된 픽셀이 보간됩니다. 단일 이미지에서 이미지의 모양을 시각적으로 개선 할 수 있지만 실제 세부 사항 은 추가하지 않습니다 .
• 초 해상도 기법은 특정 조건에서 좋은 결과를 얻을 수 있습니다. 정수가 아닌 양만큼 픽셀이 이동하고 압축 아티팩트가 적은 프레임이 충분해야합니다. 가장 좋은 경우 2 배 및 3 배 줌 내에서 좋은 결과를 기대할 수 있습니다.

비디오 클립에 표시되는 내용은 원본 비디오가 몇 메가 픽셀로 촬영 된 경우에만 가능하며 해상도는 매우 근접하여 확대됩니다 (Google지도에서와 거의 비슷하게). 물론, 그 시점에서 올바른 초점, 저조도 조건과 같은 다른 문제가 여전히 있습니다. 눈의 관점이 비디오의 전체 피사체의 관점과 다르다는 사실은 몇 가지를 언급 ​​할뿐입니다.

아무것도 만들어 낼 수 없으며 어떤 식 으로든 이미지를 향상시킬 수 있으려면 정보가 있거나 추측해야합니다. 예를 들어 블러 링 기능의 속성을 알고 있고 이미지 노이즈가없는 경우 실제로 사진을 흐리게 처리 할 수 ​​있습니다. 그러나 블러 기능과 노이즈가 항상 존재한다는 사실을 거의 알지 못하므로 복구 할 수있는 대상을 심각하게 제한합니다 (Adobe는 최근에 블러 해제 필터를 시연했지만 데모는 합성 블러를 사용했습니다).

간단히 말해서 CSI는 거의 순수한 허구입니다. 실제 생활에서 얻을 수있는 이득은 한계가 있습니다. TV에 표시되는 해상도가 5 배 증가하는 것과는 다릅니다.

온전한 점검 : 40+ MP Hasselblad 카메라에 대해 수십만 달러를 지불하지 않으면 소프트웨어를 복제하는 것이 더 저렴할 것입니다!

편집 : 나는 어떻게 든 비디오의 초 해상도에 대한 원래의 질문을 알지 못했습니다. 실제로 여러 이미지 초 해상도가 가능하지만 센서의 한계까지만 가능합니다. 서브 픽셀 시프트가있는 이미지 세트를 사용하여 작동합니다. 픽셀 사이의 값에 대한 정보를 제공하여 고해상도 이미지를 만들 수 있습니다. 움직이는 피사체가 동일한 종류의 이동을 생성하기 때문에 비디오의 초 고해상도 작동하지만 프레임의 개체 모양이 그다지 바뀌지 않아야합니다. 기껏해야이 기술은 고해상도 센서의 결과 만 제공하므로 렌즈 해상도의 한계를 극복 할 수 없으며 CCTV 사양 렌즈로는 상당히 제한적입니다.

다음은 좋은 조건에서 초 해상도의 예입니다.

_{(출처 : wikimedia.org )}

photoacute.com의 이미지

예, 그러나 여전히 CSI 수준의 성능에 가까운 곳은 없습니다.

위의 내 의견을 참조하기 위해 최신 Hasselblads는 실제로 "멀티 샷 캡처"라는 이름으로 센서 시프트 초 해상도를 구현하므로 영리한 소프트웨어를 사용하여 자체 게임에서 중형 제조업체를 이길 수는 없습니다 ...

이것이 내가 지금까지 한 것입니다.

그들이 농구를 보는 눈의 면적은 약 1 평방 밀리미터입니다. 소녀의 키를 기준으로 화면의 총 픽셀 수 중 최대 백만 분의 1이되어야합니다. (이미지의 너비와 높이는 사진에 대해서는 잘 정의되어 있지 않지만 일부는 더 가까울 수 있으므로 대략 3 x 3 미터로 보입니다. 이는 약 1 천만 평방 밀리미터를 의미합니다. 그러나 눈은 실제 카메라 렌즈에 더 가깝을 수 있습니다. 나는 대략 $ 10 $로 추정하고 나눕니다.)

기록이 HD 품질이라면 여전히 2 메가 픽셀에 불과하므로 농구는 단일 픽셀의 크기 여야합니다.

의심 할 여지없이 추론이 사실이 아니라고 생각하지만 여전히 이미지 향상의 상한선이 무엇인지 궁금합니다.

Super Resolution과 함께 시판되는 소프트웨어가 있습니다. 나는 이것들을 직접 시도하지는 않았지만 광고 자료는 꽤 좋습니다. 이 소프트웨어는 감시, 보안 및 군대를 지향하지만 일부 법의학 유닛은이 물건에 액세스 할 수 있다고 생각합니다.

두 가지 예는 다음과 같습니다 Ikena 의 MotionDSP으로부터 TacitView 2D3에서

TV 쇼에서 제안한 수준으로 향상되는 이미지 / 비디오는 불가능하며 실제로 이미지 캡처 장치에 의해 제한됩니다. 이것이 먼저 진화해야 할 기술입니다.

인식 가능한 객체로 10 픽셀의 컬렉션에서 정보를 얻는 것은 불가능합니다. 픽셀 수준에서 이는 이미지에 제공되는 최종 정보량입니다. 유한 줌에는 100 개의 블록 만 있습니다. 보간을 통해 10x10 픽셀 영역을 100x100 픽셀로 늘릴 수 있지만 10x10 픽셀의 정보 만 있으면됩니다. 보간은 소프트웨어에 의해 10 x 10 픽셀을 기준으로 교육 된 추측에 의존합니다. 결과적으로 100 x 100 픽셀 블러가 발생합니다. 또는 2000x2000 픽셀 이미지를 가져 와서 4000x4000 픽셀까지 보간하십시오. 원본 이미지에서 명확하지 않은 일부 흐림 효과는 순수한 홍반을 통해 더 큰 이미지에서 가능한 한 더 선명하게 보일 수 있습니다. 보간 된 이미지는 더 자세한 "환상"을 제공합니다.

이미지 향상은 원본 이미징 소스를 통해 캡처 된 정보의 최대량에만 의존하며 픽셀을 확대하면됩니다. 일부 카메라는 매우 좋은 해상도의 이미지를 촬영할 수 있지만 원본 이미지에는 기록되지 않은 세부 정보를 얻을 수있는 소프트웨어가 없습니다.

이제 CSI 쇼로 돌아 가기 위해 대부분의 표준 감시 카메라 영상을 가져옵니다. 실제로 시작되는 해상도가 특히 높지 않기 때문에 쇼에서 이러한 종류의 향상을 볼 때 그것은 나를 웃게 만듭니다. -최첨단 형태의 이미지 편집 소프트웨어로도 불가능하므로 PhotoShop은 고급 스케일의 상단에 있습니다. 이미지 향상 및 확대 / 축소는 이미징 장치가 캡처 한 정보에 100 % 의존하므로 사람의 눈 각막 측면에 사람의 얼굴이 반사되는 것을 포착 할 수있는 감시 카메라는 강력해야하며 엄청나게 비쌀 것입니다 . 푸티지는 프레임 당 엄청나게 높은 픽셀 정의 (예 : 1 초의 푸티지를 저장하려면 100 메가 픽셀 또는 약 9.5 테라 바이트)가 있어야합니다. 각 감시 카메라는 24 시간 분량의 영상을 담을 수있는 작은 서버 팜이 필요하다는 시점까지 영상 파일 크기를 날려 버립니다. 매우 비싸다. 그 결과 향상 기술은 먼저이 수준의 상세 비디오 및 이미지 캡처를 수행하고, 편리한 방식으로 데이터를 저장하고, 도시 전체에 적용하기에 저렴한 위치에있는 이미지 캡처 장치에 의존합니다. 파일 크기는 비디오 장면에서 엄청나게 커서 (초당 약 9.5TB 기억)이 작업을 수행 할 수있는 소프트웨어를 실행하려면 오늘날의 표준에 따라 매우 강력한 슈퍼 컴퓨터가 필요합니다. 기술의 속도가 빨라짐에 따라 미래의 어느 시점, 아마도 우리의 생애에서 가능할 수도 있습니다. 그래야만 그렇게 할 수 있었지만 이미지는 향상되지 않았습니다. 그들은 매우 상세한 이미지만을 확대하고있을 것입니다. 풀 타임 생활을 위해 디지털 이미지로 작업 할 때이 점을 알고 있습니다.