AI 블루프린트에 내장된 텍스트-이미지 모델로 3D 객체 최대 20개 생성

엔비디아가 3D 객체 생성을 위한 엔비디아 AI 블루프린트(NVIDIA AI Blueprint for 3D object generation)를 공개했다. 이는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있도록 지원한다.

3D 아티스트들은 끊임없는 프로토타이핑 작업 문제에 직면하고 있다. 전통적인 워크플로우에서는 3D 장면 구현을 위해 저충실도 임시 에셋을 제작하고, 핵심 요소가 제자리에 배치될 때까지 수정을 반복해야 하기 때문이다. 그 후에야 시각적 요소를 세부적으로 다듬어 완성할 수 있다.



이렇게 프로토타이핑은 시간이 많이 소요되고 종종 불필요한 작업을 수반한다. 그 결과 아티스트들은 창의적인 작업보다 지루한 모델링 작업에 더 많은 시간을 할애해야 한다.

생성형 AI는 장면 프로토타이핑을 위한 초안을 제안하거나 객체를 생성하는 등 중간 작업을 신속히 처리해 아티스트를 돕는다. 그러나 이러한 가속화된 워크플로우를 구현하기 위해 여러 AI 모델을 연결하는 일은 기술적으로 복잡할 수 있다. 엔비디아 AI 블루프린트는 샘플 워크플로우를 제공해 사용자가 복잡한 기술 단계를 건너뛰고 고급 생성형 AI 기술을 빠르게 활용할 수 있도록 지원한다. 또한 AI 블루프린트는 각 사용자의 요구에 맞게 조정될 수 있다.

엔비디아가 이번에 새로 공개한 AI 블루프린트는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있게 해주는 워크플로우다.

또한 새로운 마이크로소프트 트렐리스(Microsoft TRELLIS) 엔비디아 NIM 마이크로서비스는 3D 객체 생성을 위한 AI 블루프린트 내에서 작동하며, 기존 모델보다 20% 빠른 속도로 고품질 3D 에셋을 생성한다. 아이디어의 탄생에서 시작하는 3D 프로젝트는 테마, 장소, 장식, 색상, 질감 등 시각적 세부 요소를 신중히 고려하는 과정을 거친다. 장면에 에셋을 배치한 후에도 개별 또는 전체 시각 요소를 여러 차례 검토하고 수정해야 한다.

3D 객체 생성을 위한 엔비디아 AI 블루프린트는 프로토타이핑 과정을 자동화하는 파이프라인을 제공한다. 사용자가 프롬프트로 예술적인 아이디어를 입력하면, 블루프린트에 내장된 거대 언어 모델(large language model, LLM)이 장면에 포함 가능한 20개의 객체를 제안한다. 이는 라마 3.1 8B(Llama 3.1 8B) 엔비디아 NIM 마이크로서비스로 가속화된다.

생성 가능한 객체를 보여주는 프리뷰 생성

엔비디아 사나(SANA)는 고해상도 이미지를 빠르게 합성하는 텍스트-이미지 프레임워크로, 생성 가능한 객체를 보여주는 프리뷰를 생성한다. 각 객체는 재생성, 수정, 삭제가 가능해 아티스트의 자유로운 창작 활동을 지원한다.

이후 아티스트는 새로운 마이크로소프트 트렐리스 엔비디아 NIM 마이크로서비스를 통해 각 객체를 고품질 프리뷰에서 즉시 활용 가능한 3D 모델로 변환할 수 있다. 이 마이크로서비스는 최첨단 모델의 배포를 간소화하고 속도를 20% 향상시킨다.

또한 최대 20개의 3D 에셋 모음은 즉시 사용하거나 오픈 소스 3D 플랫폼 블렌더(Blender)에서 추가로 다듬을 수 있도록 준비된다. AI 블루프린트는 이를 자동으로 블렌더로 내보내며, 아티스트는 다른 인기 3D 애플리케이션으로도 에셋을 내보낼 수 있다.

아울러 라마 3.1 8B NIM 마이크로서비스로 구동되는 LLM은 장면에 포함할 객체의 아이디어와 프롬프트 제안을 생성할 수 있다. 따라서 프롬프트 경험이 많지 않은 아티스트도 창의적인 생산성을 높일 수 있다.