‘디퓨전렌더러’ 공개, 크리에이티브 콘텐츠 제작·편집부터 자율주행·로보틱스용 합성 데이터 생성까지 활용

엔비디아는 자사 연구팀인 엔비디아 리서치(NVIDIA Research)가 AI 기반 렌더링 신기술 ’디퓨전렌더러(DiffusionRenderer)’를 개발했다고 발표했다. 이는 영상용 AI 조명 스위칭 기술로, 낮 장면을 야경으로 바꾸고, 화창한 오후를 흐린 날로 전환하며, 거친 형광등도 부드럽고 자연스러운 조명으로 톤 다운할 수 있다.

디퓨전렌더러는 AI를 활용해 실제 세계에서 빛이 작용하는 방식을 모방하는 뉴럴 렌더링 신기술이다. 이 기술은 전통적으로 서로 다른 두 가지 프로세스인 역 렌더링과 포워드 렌더링을 하나의 뉴럴 렌더링 엔진에 통합해 최첨단 기술보다 뛰어난 성능을 발휘한다.



디퓨전렌더러는 비디오 조명 제어, 편집, 합성 데이터 증강을 위한 프레임워크를 제공한다. 이는 크리에이티브 산업과 물리 AI 개발을 위한 강력한 툴로 활용될 수 있다.

광고, 영화, 게임 개발 분야의 제작자는 디퓨전렌더러 기반 애플리케이션을 사용해 실제 또는 AI 생성된 동영상에서 조명을 추가, 제거, 편집할 수 있다. 물리 AI 개발자는 로보틱스와 자율주행차(autonomous vehicle, AV)용 모델을 훈련하기 위해 더욱 다양한 조명 조건으로 합성 데이터 세트를 보강하는 데 이를 활용할 수 있다.

디퓨전렌더러는 6월 11일부터 15일(현지 시간)까지 미국 테네시 내슈빌에서 열린 컴퓨터 비전 및 패턴 인식 분야 국제 학술대회 CVPR(Computer Vision and Pattern Recognition)에서 채택된 60편 이상의 엔비디아 논문 중 하나다.

디퓨전렌더러는 2D 비디오 데이터만으로 장면에서 디라이팅(de-lighting)과 리라이팅(relighting) 작업을 수행한다.

디라이팅은 이미지에서 조명 효과를 제거해 기본적인 물체의 기하 구조와 재질 특성만을 남기는 과정이다. 반대로 리라이팅은 장면에 빛을 추가하거나 편집하면서 물체의 투명도와 표면이 빛을 반사하는 정도인 스페큘러(specularity)와 같은 복잡한 특성의 사실감을 유지하는 작업이다.

기존의 물리 기반 렌더링 파이프라인은 디라이팅과 리라이팅을 위해 장면의 3D 기하 데이터를 필요로 했다. 반면, 디퓨전렌더러는 AI를 사용해 단일 2D 비디오에서 법선 백터(normals), 금속성, 거칠기 등의 속성을 추정한다.

이러한 계산을 통해 디퓨전렌더러는 현실감 있는 조명 조건을 유지하면서 새로운 그림자와 반사를 생성하고, 광원을 변경하며, 재질을 편집하거나, 장면에 새로운 물체를 삽입할 수 있다.

디퓨전렌더러 기반 애플리케이션을 활용하며, AV 개발자는 주로 주간 주행 영상으로 구성된 데이터 세트를 다양한 조명 조건으로 무작위 변환해, 흐리거나 비가 오는 날, 강한 그림자가 있는 저녁 시간대, 야간 장면 등으로 구성된 추가 영상을 생성할 수 있다. 이렇게 증강된 데이터를 통해 개발자는 개발 파이프라인을 강화해 까다로운 조명 조건을 더 잘 처리할 수 있는 AV 모델을 훈련, 테스트, 검증할 수 있다.