사실적인 렌더링 : 인간의 눈과 뇌의 어떤 과정을 고려해야합니까?

실사 렌더링 은 실제 카메라 가 이미지를 캡처하는 것처럼 이미지를 렌더링하는 것을 목표로 합니다. 이것은 이미 야심 찬 목표이지만 특정 시나리오의 경우 더 많은 것을 원할 수도 있습니다. 사람의 눈으로 포착하거나 사람 이 인식하는 것처럼 이미지를 렌더링 하십시오. 그것을 시각적 현실주의 또는 지각 현실 렌더링 이라고 부를 수 있지만, 누군가가 포수 용어를 생각해 낼 수 있다면 (또는 이미 존재하는 단어가 있다고 말하면) 고맙게 생각합니다.

여기에 요점을 분명히하는 몇 가지 예가 있습니다. 조명 수준이 낮은 카메라로 사진을 찍을 때 렌즈가 좋거나 시끄러운 이미지가 나타납니다. 인간 관찰자의 경우, 스코픽 시력이 시작되어 Purkinje 효과가 나타납니다 (색이 파란색으로 바 shift). 이 효과는 HDR 휘도 정보에 따라 달라지며 LDR 디스플레이에 이미지를 표시 할 때 손실됩니다. 또한, 인간의 뇌는 깊이 정보를 사용하여 인식 된 이미지-최종 (비 스테레오) 렌더링에서 손실되는 정보를 '필터링'할 수 있습니다.

철저한 목록을 작성하는 것은 어려울 수 있습니다. 내가 고려해야 할 눈과 뇌의 영향을 제안 할 수 있습니까?

사람의 눈이 포착하거나 사람이 인식하는 것처럼 이미지를 렌더링하십시오.

이것을 해석하는 두 가지 방법이 있습니다. 둘 다하겠습니다.

해석 1 : 지각 적으로 사실적으로 보이는 이미지를 렌더링합니다.

하루가 끝나도 이미지는 여전히 어딘가에 표시 되어야 합니다. 핵심은 다음과 같습니다 . 특정 디스플레이 장치에서 해당 이미지를 * 표시 * 할 때 원래 방사선 이미지가 생성했을 때와 동일한 느낌을 생성하는 방식으로 이미지 를 렌더링 하려고합니다 .

그 아이디어의 포장을 푸는 방법은 다음과 같습니다.

실제 세계에서 방사선 스펙트럼 (즉, 실제 빛의 분포)이 눈에 들어가 약 ¹ 개의 4 개의 빛 수용체를 자극 합니다. 수용체의 자극은 이미지와 관련된 색상의 감각을 생성합니다.

렌더링에서는 우리가 생성하는 스펙트럼을 임의로 제어 할 수 없습니다. 다행스럽게도, 일반적으로 스칼라 값만 생성하는 원뿔이 3 개뿐이므로 정확히 3 개의 원색을 사용하여 색각을 재현 할 수 있습니다. 결론 은 세 가지 파장의 선형 조합 만 사용하여 색상을 생성 할 수 있다는 것입니다.

기본을 선택할 수 없습니다. 거의 모든 컬러 디스플레이 장치는 sRGB 표준을 사용하여 3 개의 기본 (일반적으로 단일 파장이 없음)을 제공합니다. 그것은 모두 추상화되어 있으며 신경 쓸 필요가 없기 때문에 괜찮습니다.

지각 적으로 정확한 렌더링 인 혼란을 명확히하기 위해 알고리즘은 다음과 같습니다.

1. 올바른 방사선 계산을 사용하여 이미지를 렌더링하십시오. 개별 파장의 파장 또는 파장의 버킷을 추적합니다. 도대체 무엇이. 결국 모든 지점에서 수신 한 스펙트럼을 나타내는 이미지가 있습니다.
2. 각 픽셀에서 렌더링 한 스펙트럼을 가져 와서 CIE XYZ 색상 공간으로 변환합니다 . 이것은 스펙트럼의 곱을 표준 옵저버 기능 과 통합하는 것으로 작동 합니다 (CIE XYZ 정의 참조) .
3. 이는 CIE XYZ 색상 인 3 개의 스칼라 값을 생성합니다.
4. 행렬 변환을 사용하여 이것을 선형 RGB로 변환 한 다음 선형 / 전력 변환을 사용하여 선형 RGB를 sRGB로 변환하십시오 .
5. 부동 소수점에서 uint8로 변환하고 값을 클램핑하여 범위를 벗어났습니다 (모니터가이를 나타낼 수 없음).
6. uint8 픽셀을 프레임 버퍼로 보냅니다.
7. 디스플레이는 sRGB 색상을 취하고 역변환을 수행하여 특정 강도의 3 원색을 생성합니다. 각각은 담당하는 모든 그림 요소의 출력을 조정합니다. 그림 요소가 켜지고 스펙트럼이 생성됩니다. 이 스펙트럼은 렌더링 한 원래 스펙트럼에 대한 메타 머일 것 입니다.
8. 렌더링 된 스펙트럼을 인식 한 것처럼 스펙트럼을 인식합니다.

해석 2 : 시각화 목적으로 또는 LDR 디스플레이에 대한 보상을 위해 사람의 눈이받을 최종 데이터를 시뮬레이션하려고합니다.

이것은 덜 유용한 의미를 가지고 있다고 생각합니다. 본질적으로, 두뇌가 재미 / 이익을 위해 인식하는 방식을 조정하는 이미지를 만들려고합니다.

예를 들어, SIGGRAPH에는 올해 이미지가 지각 적으로 다르게 보이도록 잔상과 색 감소를 시뮬레이션 한 종이 가있었습니다 . 물론 그들이하는 유일한 이유는 우리가 작업하는 디스플레이가 모두 낮은 동적 범위 (LDR)이기 때문입니다. 요점은 실제 이미지 데이터로 실제 HDR (High-dynamic Range) 디스플레이에 노출 된 경우 누군가가 볼 수있는 효과를 시뮬레이션하는 것입니다.

실제로 이것은 잘 작동하지 않는 것으로 판명되었습니다. 예를 들어 잔상의 경우 매우 밝은 자극 소진 컬러 셀로 인해 잔상이 보입니다. 대신 가짜 잔상으로 효과를 자극하려고하면 비슷한 느낌이 들지만 완전히 다른 메커니즘이기 때문에 설득력이 없습니다.

이런 종류의 그래픽은 실제로 당신이 그것을 원한다면 문헌에서 탐구 중입니다. 언급 된 논문은 우리가 보유한 가장 최신의 접근법의 예입니다. 그러나 현재의 합의는 실제로 (적어도 현재는) 시뮬레이션하려고 시도 할 가치가 없다는 것입니다. 최상의 당신은 다른 것을 대체하여 실제 시력 효과를 근사 할 뿐이므로 실제로는 그렇지 않습니다. 작업.

¹ Rod + 3 * cones, 일반적인 경우. 인간은 기능상 최대의 빛 수용체를 제로까지 최대 7 개 (최대 5 개)까지 가질 수 있기 때문에 대략적인 수치입니다.

지각에 관해서는, 우리가 거의 눈을 멀게하는 것 (속성 또는 인공물에 관한)과 우리가 지각 한 것에 대한 문제도 있습니다.

예를 들어 소리와 관련하여 다른 내용 (텍스처가 메쉬 해상도를 마스크하는 방법을 보여주는 오래된 SIGGRAPH 종이)과 모든 시간 측면 ( "맹인 변경"을위한 Google)을 인식하지 못하는 대비 또는 주파수가 있습니다. 마찬가지로, 표면, 법선, BRDF의 세부 사항은 값과 상대 값에 따라 표시되거나 표시되지 않을 수 있습니다.

또한 우리의 지각 시스템은 로컬 및 전 세계적으로 적응하는 경향이 있기 때문에 저주파 값의 경우 올바른 위치에 최대 값과 최소값을 갖는 것이 중요하지만 정확한 값은 실제로 눈에 띄지 않습니다.

때때로 구름과 나무에는 많은 오류를 허용하지만 인간의 얼굴에는 분명히 적은 오류를 인식하는 것처럼 인식이있을 수 있습니다. (이를 주어진 카테고리에 대한 매개 변수 통계로 다운 그레이드 할 수도 있습니다.)

그렇기 때문에 "사실적"보다는 "유연한"이라는 단어를 선호합니다.

반대로, 우리는 허위 픽셀 또는 깜빡이는 픽셀과 같은 아티팩트에 매우 민감하며, 1 그레이 레벨의 오류 앞면, 모아레와 같은 원치 않는 패턴, 앨리어싱 또는 잘못된 랜덤 등과 같은 상관 관계에 매우 민감합니다.

그건 그렇고 그것은 단순한 에너지로 모든 것을 합산하는 최적화 기반 솔루션이 모든 역설적 상황에서 선이나 점에 오류가 집중되는 경향이있는 것처럼 지각 적으로 말하는 나쁜 생각이 될 수있는 이유 중 하나입니다. 같은 이유로 초기 글로벌 일루미네이션은 앤티 앨리어싱 근사 그림자보다 에너지 정확한 솔루션이 덜 수용되었다는 사실에 실망했습니다 (그리고 쿼드 트리에서 메시 기반의 적응 방법에 이르기까지).

그래픽에 대한 인식에 대한 (일반적인) 개요는이 SigAsia '코스 "그래픽, 시각화, 가상 환경 및 애니메이션 에 대한 인식" 에서 찾을 수 있습니다.