신규 옴니버스 라이브러리·코스모스 WFM 발표
새로운 코스모스 모델로 가상 세계 생성과 공간 추론 가속화

엔비디아가 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프(SIGGRAPH)에서 새로운 엔비디아 옴니버스(NVIDIA Omniverse™) 라이브러리와 엔비디아 코스모스(Cosmos™) 월드 파운데이션 모델(world foundation model, WFM)을 발표했다. 이번 발표로 로보틱스 솔루션의 개발과 배포가 가속화될 것으로 기대된다.

새로운 엔비디아 RTX PRO 서버(RTX PRO™ Server)와 엔비디아 DGX 클라우드(DGX™ Cloud)를 기반으로 구동되는 이 라이브러리와 모델은 개발자가 어디서든 물리적으로 정확한 디지털 트윈을 구축하도록 돕는다. 또한 현실 세계를 시뮬레이션 환경에서 캡처하고 재구성하며, 피지컬 AI 모델 훈련을 위한 합성 데이터를 생성하고, 물리적 세계를 이해하는 AI 에이전트를 개발하도록 지원한다.
 
엔비디아 옴니버스, 시뮬레이션 기술 부문 부사장인 레브 레바레디언(Rev Lebaredian)은 “컴퓨터 그래픽과 AI가 융합되며 로보틱스를 근본적으로 변화시키고 있다. AI 추론을 확장 가능하고 물리적으로 정확한 시뮬레이션과 결합함으로써, 우리는 개발자들이 수조 달러 규모 산업의 미래를 바꿀 로봇과 자율주행차(autonomous vehicle, AV)를 구축할 수 있도록 지원하고 있다”고 말했다.

옴니버스 누렉 렌더링은 15만 명 이상의 개발자가 사용하는 대표적인 오픈소스 시뮬레이터인 칼라(CARLA)에 통합된다. 또한, AV 툴체인 선도 기업인 포어텔릭스(Foretellix)는 누렉과 엔비디아 옴니버스 센서(Sensor) RTX™, 코스모스 트랜스퍼(Cosmos Transfer)를 통합해 물리적으로 정확한 시나리오를 기반으로 한 확장 가능한 합성 데이터 생성을 강화하고 있다.

이와 함께 복셀51(Voxel51)의 시각적, 멀티모달 AI용 데이터 엔진인 피프티원(FiftyOne)도 누렉을 지원해 재구성에 필요한 데이터 준비 과정을 간소화한다. 피프티원은 포드(Ford), 포르쉐(Porsche)를 비롯한 여러 고객사에서 사용되고 있다.

보스턴 다이내믹스(Boston Dynamics), 피규어 AI(Figure AI), 헥사곤(Hexagon), RAI 연구소(RAI Institute), 라이트휠(Lightwheel), 스킬드 AI(Skild AI) 등도 옴니버스 라이브러리, 아이작 심, 아이작 랩을 도입해 AI 로보틱스 개발을 가속화하고 있다. 또한, 아마존 디바이스 앤 서비스(Amazon Devices & Services)는 이를 새로운 제조 솔루션에 적용하고 있다.

엔비디아 코스모스 리즌

오픈AI(OpenAI)의 클립(CLIP) 모델이 등장한 이래로, 비전 언어 모델(vision language model, VLM)은 객체와 패턴 인식 같은 컴퓨터 비전 작업에 혁신을 가져왔다. 그러나 다단계 작업을 처리하거나, 모호하거나 새로운 상황에 적절히 대응하는 데에는 한계가 있었다.

엔비디아 코스모스 리즌(Cosmos Reason)은 피지컬 AI와 로보틱스를 위한 새로운 개방형, 70억 파라미터 추론 VLM으로, 맞춤화가 가능하다. 이 모델은 로봇과 비전 AI 에이전트가 사전 지식, 물리 법칙, 상식을 바탕으로 사람처럼 추론하고 현실 세계를 이해하며 행동할 수 있도록 해준다.

엔비디아의 로보틱스 팀과 엔비디아 드라이브(DRIVE™) 팀은 데이터 큐레이션과 필터링, 주석 처리, VLA 사후 훈련에 코스모스 리즌을 활용하고 있다. 우버(Uber)는 코스모스 리즌으로 AV 훈련 데이터에 주석을 달고 캡션을 추가하고 있다.

마그나(Magna)는 시티 딜리버리 플랫폼의 일환으로 코스모스 리즌과 협력해 개발 중이다. 이 플랫폼은 완전 자율주행 기반의 저비용 즉각 배송 솔루션을 제공하며, 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원한다. 코스모스 리즌은 차량의 장기적 경로 계획에 월드 이해 기능을 추가한다. 바스트 데이터(VAST Data), 마일스톤 시스템즈(Milestone Systems), 링커 비전(Linker Vision)은 코스모스 리즌을 도입해 도시와 산업 환경에서 교통 모니터링을 자동화하고, 안전을 개선하며 시각적 검사 효율을 높이고 있다.