카메라가 전체 셔터에서 빛 데이터를 기록하지 않는 이유는 무엇입니까?

질문 제목이 혼란 스러우면 죄송합니다.이 단어를 가장 잘 표현할 수있는 방법을 모르겠습니다. 더 나은 것을 생각할 수 있으면 언제든지 바꾸십시오. 전자 셔터가 커튼을 사용하는 기계식 셔터를 사용하는 대신 이미지를 한 번에 캡처 할 수 있다는 것을 알게되었습니다. 이것은 나에게 아이디어를 주었다. 특정 샷이 1/200 초에 올바르게 노출되지만 이미지의 다이내믹 레인지가 너무 넓어서 카메라가 캡처 할 수 없다고 가정 해 봅시다.

전자식 셔터가있는 카메라가 빛의 데이터를 수집 하여 최종적으로 하나의 사진으로 저장하는 대신 셔터의 전체 시간 동안 이미지에서 빛의 데이터를 지속적으로 캡처하고 기록 할 수 없는 이유는 무엇 입니까? 방이 어둠에서 시작하여 점차 밝아지는 것을 보는 것과 같습니다. 그러면 카메라는 이미지의 전체 다이나믹 레인지를 캡처하고 HDR에 여러 번 노출하지 않고도 하나의 사진으로 전체 다이나믹 레인지가있는 이미지로 데이터를 컴파일 할 수 있습니다. 이는 카메라가 전체 노출 범위의 광 데이터를 저장했기 때문에 정보 손실 없이 사후 처리에서 노출을 조정할 수 있습니다. 이 아이디어가 현재 구현되지 않은 이유는 무엇입니까?

그것은 X- 레이에서 이루어졌습니다.

TimePix는 256 × 256 검출기. 그것은이 세 가지 작동 모드 :

• 일반적인 "우리가 통합을 시작한 이후이 픽셀의 총 에너지";
• TOT (Time-over-Threshold) : 검출 된 펄스 높이가 TOT 모드의 픽셀 카운터에 기록됩니다. 과
• TOA (Time-of-Arrival) : TOA 모드는 각 픽셀에 방사선이 트리거되고 도착하는 시간을 측정합니다.

이 기술은 광학 이미징 에 적용 되었습니다 . TOT 모드는 Wilkinson ADC처럼 작동하는 것이 가장 좋습니다. 판독 값은 누적 된 전하가 임계 값 이상인 총 시간에 해당합니다. 셔터 시간에서이 값을 빼면이 픽셀이 포화되는 데 걸린 시간을 알 수 있습니다. 따라서 각 픽셀에 대해 셔터가 열린 이후 시간이 지남에 따라 0에서 채도까지 선을 그릴 수 있습니다. 따라서 모든 픽셀이 포화되는 한 원하는 가상 셔터 시간을 선택하고 각 픽셀의 라인을 사용하여 해당 가상 셔터 시간까지 누적 된 빛을 추정 할 수 있습니다.

더 직접적인 구현 당신의 아이디어는 CMOS에서 수행되었다. 각 픽셀은 임계 요금에 도달하는 시간을 기록하고보고합니다. (시간 내에 포화되지 않는 픽셀을 ADC 대신에, 임계 값을 스윕하여 모든 픽셀이 결국 충분히 낮아진 임계 값을 초과합니다.)

Pixim Digital Pixel System ( 예제 )도 픽셀 당 ADC를 사용하여 누적 된 전하를 반복적으로 읽지 않고 누적 기울기를 얻습니다. 그러나 현재 확증적인 증거를 찾을 수 없습니다.

이 아이디어에 명백한 문제가 없습니다.

라이트 데이터를 "지속적으로"캡처하려고하지만 이미 완료되었습니다.

분명히 노출 후 일련의 이미지를 사용할 수 있다는 것을 의미합니다. 각 노출은 처음부터 전체 노출로 진행될 때까지 노출됩니다. 이후의 이미지는 그림자 영역에서 더 자세하지만 밝은 영역이 잘릴 수 있습니다. 그러면 카메라 펌웨어는 개별 이미지보다 더 큰 동적 범위를 가진 단일 이미지를 조립할 수 있습니다.

이것에 대한 두 가지 눈부신 문제는 다음과 같습니다.

• 수백만 개의 모든 픽셀을 그렇게 빨리 읽는 방법
• 결과를 넣을 위치.

오늘날에는이 기술을 사용할 수 없습니다.

"또는 광자가 센서의 픽셀을 때릴 때마다 타임 스탬프를 지정하십시오". 이것은 엄청난 양의 데이터 일 것입니다. 빠른 검색은 디지털 카메라의 각 픽셀 (또는 감각)이 20,000 ~ 100,000 광자의 어딘가에서 포화됨을 나타냅니다. 우리는 12 메가 픽셀 카메라에 만족하고 감도가 낮은쪽에 만족한다고 가정 해 봅시다. 그것은 여전히 4 조 조의 데이터 포인트입니다. 다이나믹 레인지가 많은 50 메가 픽셀 카메라를 사용한다면 5 조가 될 것 입니다. 타임 스탬프를 각각 2 바이트 만 만들더라도 (1 바이트는 256 개의 값만 제공하므로이 모든 것을 가치있게 만들 수는 없을 것입니다), 한 이미지에 대한 많은 데이터입니다. 말 그대로 테라 바이트입니다.

그건 분명 오늘날의 기술로 데이터 파이프 라인의 측면에서 현재 가능한 커녕 아니라 어딘가에 넣어 .

지속적인 광 샘플링을 위해 요구하는 것은 이론적으로는 가능하지만 실제로는 너무 비쌀 수 있습니다. 매우 높은 샘플링 속도로 근사화 할 수 있습니다. 프레임 속도가 매우 빠른 고속 (slo-mo) 비디오 카메라를 사용하면됩니다. 그런 다음 출력을 사후 처리하여 이미지를 만들 수 있습니다.

빠른 검색은이 팬텀 과 같은 잡음을 보여줍니다.

이러한 것들은 빠른 센서를 보유하고 방대한 양의 데이터를 이동 및 저장할 수있게함으로써 작동합니다. 연속 샘플링 또는 연속적으로 보일 정도로 빠른 샘플링 속도를 시도하면이 문제와 비용이 커집니다.

전자식 셔터는 이미 강화되었습니다. 이제 모든 픽셀을 동시에 가져 와서 수집을 중지 (즉, 각 픽셀 샘플링)하고 각 픽셀의 각 색상에 대한 정보를 직렬로 측정하여 동시에 촬영 된 이미지에 대한 데이터를 캡처 할 수 있습니다.

이것은 사실이 아니었다.

HDR 풍경을 위해 여전히 해킹을해야하지만 센서 기술의 발전으로 인해 예전처럼 나쁘지는 않습니다. 이제 센서 감도와 다이내믹 레인지가 더 커 졌으므로 센서가 특정 이미지의 최고 및 최저를 모두 측정 할 수 있기 때문에 2 개의 브라켓 촬영 및 사후 처리가 필요한 사진을 카메라에서 캡처 할 수 있습니다. 실제로 센서가 너무 좋아 져서 전체 다이내믹 레인지를 얻기 위해 3 번 이상의 브라켓 샷이 필요한 상황을 거의 겪지 않을 것입니다. 오래된 센서는 5 번 이상의 브라켓 촬영이 필요할 수 있습니다.

내가 알기로는 픽셀 단위로 지속적인 측정이 필요합니다.

이것이 좋은 아이디어이지만 구현은 여전히 ​​문제입니다. 카메라는 센서의 데이터를 직렬로 스트리밍하도록 설계되었습니다. 프로세서에 대한 각 픽셀에 대한 선은 없지만 이미지 센서에는 프로세서가 픽셀 값을 한 번에 읽을 수 있지만 한 번에 많은 픽셀을 읽을 수 있도록하는 논리가 있습니다. 모든 픽셀을 반복해야하며 시간이 걸립니다.

센서와 프로세서 사이에 5 천만 개의 와이어를 연결할 수 없기 때문에이를 극복 할 수 없습니다. 더 많은 프로세싱을 센서에 통합 할 수 있지만, 센서는 한 가지 일만하고 잘 수행하도록 전문화되어 있습니다. 디지털 회로를 추가하면 3D IC를 사용해도 더 많은 노이즈가 발생하고 더 작은 픽셀이 생성 될 수 있습니다. 또한, 우수한 감광성 실리콘을 생성하는 데 사용되는 프로세스는 우수하고 저전력의 고속 처리 디지털 실리콘을 생성하는 데 사용되는 프로세스와 다르다.

이러한 모든 것은 장애가되지만 일부 특수 응용 프로그램에서는 이미 사용되고 있습니다. 일반적으로 과학 및 산업 분야에서.

그러나 이것이 우리가 추위에 빠졌다는 의미는 아닙니다. 센서가 특히 다이내믹 레인지에서 개선됨에 따라 브래킷없이 카메라에 "HDR"이 표시됩니다. 센서는 전체 범위를 얻을 수있을만큼 민감하고 렌즈와 카메라 바디는 양호합니다. 블리드, 반사 및 센서가 완전한 기능을 수행하지 못하게하는 기타 문제를 방지하기에 충분합니다.

따라서 아이디어가 나쁘지는 않지만 복잡하고 비싸며 다른 개선 불가능한 영역에서 성장할 여지가 있으므로 방법이 필요하지 않을 수도 있습니다.

진정한 답은 가격입니다. 카메라 비용을 10-100 배 더 지불하고 싶다면 정말 멋진 센서를 얻을 수 있습니다.

원하는 결과는 각 픽셀의 높은 동적 범위입니다. 이를 수행하는 몇 가지 방법이 있습니다. 분명한 방법은 더 나은 ADC 및 CMOS 센서를 얻는 것이지만 비용이 많이 들고 생각한 것과 정반대가 아닙니다. 다음 방법은 연속 프로세스에서 아날로그로 충전을 줄이는 것 입니다. 이를 통해 픽셀에 몇 개의 광자가 충돌하는지 설명하는 연속 함수를 얻을 수 있습니다. 그러나 이런 종류의 아날로그 하드웨어는 매우 어렵습니다. 카메라에서 모든 픽셀 데이터는 다소 적은 수의 ADC를 통해 전송됩니다. 센서의 장점 중 일부는 센서가이를 수행 할 수있는 방법이며 수백 가지 요소로 더 저렴한 하드웨어를 생산합니다. 그렇게하려면 지속적으로 각 픽셀마다 엄청난 양의 미세 조정 된 아날로그 하드웨어가 있어야합니다.

디지털 샘플링 방식을 소개합니다. 1/1000 분의 1 초마다 데이터를 캡처한다는 아이디어를 언급했는데, 이는 얇은 타임 슬라이스에 대한 많은 데이터 포인트를 가져 와서 스티치 하는 샘플링 프로세스 만큼 실제로 연속 프로세스를 생각하지 않았 음을 나타 냅니다. 함께. 다른 답변에서 언급했듯이 일부 휴대 전화의 HDR +는이를 정확하게 수행합니다. 여러 장의 사진을 연속으로 빠르게 촬영하고 혼합하여 HDR 효과를 얻습니다. 이를 위해서는 단일 이미지에 필요한 것보다 ADC 대역폭이 훨씬 높지만 모든 픽셀을 연속적으로 처리하는 데 필요한 만큼은 필요하지 않습니다.

그것의 소리에서, 당신은 각각의 픽셀이 이번에 독자적으로 샘플링하기를 원합니다. 이를 위해서는 먼저 3D 집적 회로 설계를 개척해야합니다. 각 픽셀의 하드웨어가 센서 표면의 공간을 차지하지 않기를 원하거나 IC의 센서가 아닌 부품에 떨어질 때 픽셀이 너무 적거나 많은 빛을 잃는 데 어려움이 있습니다. 이를 달성하는 유일한 방법은 3D 칩을 만드는 것입니다. 이들은 실제로 미래 기술입니다. 우리는하고 시작하는 이 작업을 수행하는 방법을 탐구하는, 그러나 그것은 쉬운 일이 아닙니다. 카메라를 위해 수십만 달러를 절약 할 수 있다면 이런 일이 일어날 수 있습니다.

결국, 각 픽셀의 출력이 "정수"대신 "부동 소수점 수"가되는 것처럼 들립니다. 다시 말해서, 각 픽셀은 얼마나 많은 광자를 쳤는지에 대한 값과 기본적으로 실제 광자 수를 얻기 위해 그 값에 얼마나 많은 값을 곱 할지를 나타내는 지수를 가질 것입니다. 픽셀이 노출되면 매우 높은 속도 (아마도 5000Hz)로 샘플링되며 광자 수가 너무 커지면 더 큰 지수를 선택합니다.

이제 진짜 질문은 이것으로부터 얼마나 많은 이익을 얻습니까? HDR + 방식은 현재 수백 달러에 달하는 휴대폰 기술입니다. 지금까지 어떤 카메라보다 훨씬 까다로운 공차를 가진 초 절단 기술을 사용하는 것에 대해 이야기하고 있습니다. 비용이 듭니다. 무엇을 사셨습니까? 셔터가 작동하는 동안 단일 픽셀은 실제로 구글이 추진하고있는 저렴한 CMOS 기술이 무엇을하지 않았다고 생각 했는가? 대답은 그리 많지 않습니다. 이것이 선호되는 접근 방식 인 작은 사소한 사례 가 몇 가지 있을 수 있지만 기존 기술보다 가격표가 실질적으로 높기 때문에 상업용 비 스타터입니다.

매우 유사한 것이 구현되고 있습니다. 아날로그 방식보다는 디지털 방식의 장점이 있기 때문에 여전히 개별 프레임으로 작동합니다. 그러나 피코 초의 시간 해상도로 접근 방식이 존재합니다.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

전자식 셔터가있는 카메라가 빛의 데이터를 수집하여 하나의 사진으로 저장하는 대신 셔터의 전체 시간 동안 이미지에서 빛의 데이터를 지속적으로 캡처하고 기록 할 수없는 이유는 무엇입니까?

여기에서 실제로 제안하는 것은 "전체 노출 동안 얼마나 많은 빛이 수집 되었는가"라는 관점이 아닌 이미지를 설명하는 것입니다. 오히려 "각 지점의 장면이 얼마나 밝았습니까?" 그것은 좋은 생각이며, 여러 가지 방법으로 생각할 수 있지만, 그들 모두 공통점은 센서에 복잡성을 더한다는 것입니다.

카메라 제조업체는 오랫동안 더 많은 픽셀 을 제공하기 위해 노력해 왔으며 각 개별 픽셀의 구조를 단순하게 유지하는 것이 그 노력에 도움이 될 것 같습니다. 이제 DSLR에는 일반적으로 2 천만에서 5 천만 픽셀 사이의 센서가 있으므로 더 나은 픽셀 을 만드는 대신 작동 할 것 입니다. 우리는 이미 어떤면에서 듀얼 픽셀 자동 초점이 하나의 예라는 것을 알고 있습니다. 그리고 더 많은 동적 범위 , 적은 소음 등 을 제공하는 센서를 제작하는 회사가 있습니다 .

요컨대, 나는 그렇게 제안되지 않았더라도 앞으로 제안한 내용에 따라 무언가를 보게 될 것 같으며, 우리가 아직없는 이유는 아마도 픽셀 밀도 증가와 같은 다른 목표는 과거에 더 높은 우선 순위였습니다.

다소 다른 방식으로 수행 할 수 있습니다. 한 장의 사진 대신 노출 시간이 다른 여러 프레임을 촬영합니다. 그런 다음 스태킹에 사용하는 알고리즘에 따라 그림을 쌓아 평균을 얻습니다.

예를 들어 최근의 전체 일식에서 육안으로 볼 수있는 코로나의 양은 카메라의 어느 한 노출 시간보다 훨씬 더 컸습니다. 이는 눈이 대수 동적 범위를 갖는 반면, 눈은 선형 동적 범위를 갖기 때문입니다. 그래서 다양한 노출 시간을 적재하면 훨씬 더 근사한에서 수 사진 관찰자가 눈으로 본 것을.

Olympus Live Bulb 및 Live Time 모드는 설명하는 방향으로 진행됩니다.

로부터 OM-D E-M5 설명서 :

촬영 중 노출 진행률을 보려면 [Live BULB] (P. 89) 또는 [Live TIME] (P. 89)의 표시 간격을 선택하십시오.

여기 비디오가 있습니다. 프로세스 중에 여러 번 노출 되더라도 마지막에 한 번만 노출됩니다. 센서 픽셀은 노출 중에받은 총 광자의 양에만 관심이 있으며, 광자가 언제 또는 어떤 순서로 센서에 도달했는지 알 수 없습니다.

당신은 올바른 생각을 가지고 있습니다. 소니는 기본적으로 RX100M5 및 D-Range Optimizer라고하는 기능을 사용하여 장면을 분석하고 문제 영역을 조정 및 보상하는 다른 카메라에서이 효과를 위해 무언가를하고 있습니다.

D-Range Optimizer 기능은 캡처 된 이미지 데이터를 즉시 분석하고 최적의 노출 및 톤 재현을 위해 자동으로 수정합니다. 역광 장면을 촬영할 때 피사체의 얼굴이나 그림자가있는 다른 영역이 사람의 눈에 보이는 것보다 사진에서 더 어둡게 나타납니다. D-Range Optimizer 기능은 촬영 된 장면에 대해 서로 다른 조건을 구별하여 감마 곡선, 노출 레벨 및 기타 매개 변수를 자동으로 보정하여 사람의 눈에 보이는 것보다 어두운 부분을 제거합니다.

D 범위 최적화 기능에는 전체 이미지를 균일하게 조정하는 표준 모드 (노출과 같은 측면을 수정하는 데 효과적)와 컴포지션 내의 영역을 자동으로 수정하는 고급 모드가 포함되어 있습니다. Advanced (고급) 모드를 사용하면 사진가가 피사체와 배경을 모두 적절한 밝기로 사진을 찍을 때 선명한 사진을 만들 수 있습니다. 둘의 밝기에 큰 차이가있는 경우에도 마찬가지입니다.

출처 : https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F