로봇·자율주행 위한 차세대 파운데이션 모델 선보여...최첨단 합성 데이터 생성·피지컬 AI 정책 모델 개발 지원
엔비디아가 엔비디아 GTC 타이베이서 피지컬 AI를 위한 오픈 월드 파운데이션 모델인 엔비디아 코스모스™ 3(Cosmos™ 3)을 공개했다. 코스모스 3은 비전 추론, 월드 생성, 액션 예측을 단일 시스템에 결합한 획기적인 트랜스포머 혼합(mixture-of-transformers) 아키텍처를 기반으로 구축됐다는 설명이다.
엔비디아는 이를 세계 최초의 완전 개방형(Open) 옴니모델(Omnimodel)로 소개했다. 해당 모델은 텍스트, 이미지, 비디오, 음성, 행동(Action) 데이터를 동시에 이해하고 생성할 수 있으며, 현실 세계의 물리적 상호작용과 시공간적 관계를 추론할 수 있도록 설계됐다는 것이다. 엔비디아는 이를 통해 로봇과 자율주행차, 비전 AI 에이전트 개발에 필요한 훈련 및 평가 주기를 기존 수개월에서 수일 수준으로 단축할 수 있다고 밝혔다.
특히 코스모스 3는 텍스트, 이미지, 비디오, 음성, 액션 궤적 등 수십억 개 규모의 멀티모달 데이터를 기반으로 사전 학습됐다. 개발자는 이를 활용해 적은 양의 데이터와 낮은 비용으로 피지컬 AI 모델을 구축할 수 있다고 업체 측은 전했다.
엔비디아에 따르면 코스모스 3는 비전 언어 모델(VLM), 월드 모델, 비디오 파운데이션 모델, 로봇 행동 정책 모델 등의 핵심 기반 기술로 활용될 수 있다.
코스모스 3 제품군은 활용 목적에 따라 △최고 수준의 물리 정확도를 제공하는 ‘코스모스 3 슈퍼(Super)’ △1초 미만의 빠른 추론을 지원하는 ‘코스모스 3 나노(Nano)’ △실시간 엣지 추론용 ‘코스모스 3 엣지(Edge)’ 등으로 구성된다. 이 가운데 슈퍼와 나노 버전은 즉시 사용할 수 있으며, 엣지 버전은 추후 공개될 예정이다.
엔비디아는 이날 월드 모델 개발을 위한 글로벌 협력체인 ‘코스모스 연합(Cosmos Coalition)’도 출범했다.
코스모스 연합에는 애자일 로봇(Agile Robots), 블랙 포레스트 랩스(Black Forest Labs), 다이나 로보틱스(Dyna Robotics), 제너럴리스트(Generalist), LTX, 런웨이(Runway), 스킬드 AI(Skild AI) 등이 참여한다. 참여 기업들은 엔비디아의 코스모스 기술과 훈련 도구, DGX 클라우드(DGX Cloud) 인프라를 활용해 차세대 월드 모델 연구와 평가 체계 구축에 협력할 예정이다.
젠슨 황(Jensen Huang) 엔비디아 창립자 겸 최고경영자(CEO)는 “멀티모달 추론 언어 모델과 비전, 월드 모델 기술의 발전으로 피지컬 AI의 빅뱅(Big Bang)이 곧 도래할 것”이라며, “코스모스 3는 개발자들이 물리적 세계를 인식하고 추론하며 계획하고 행동하는 로봇과 자율주행차, 비전 AI를 개발할 수 있도록 지원하는 획기적인 도약”이라고 말했다.
업계에서는 생성형 AI와 AI 에이전트에 이어 로봇과 자율주행 등 현실 세계와 상호작용하는 피지컬 AI가 차세대 AI 경쟁의 핵심 분야로 부상하고 있는 만큼, 이번 발표가 엔비디아의 플랫폼 영향력을 소프트웨어 생태계 전반으로 확대하려는 전략의 일환으로 해석하고 있다는 설명이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
