대규모 AI 추론, MoE 모델과 같은 복잡한 AI 모델의 성능·효율성 향상
엔비디아가 엔비디아 다이나모(NVIDIA Dynamo)를 통해 멀티 노드 추론 성능과 효율성을 향상시키고, 아마존웹서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, OCI) 등 주요 클라우드 제공업체와 통합해 AI 추론 가속화를 지원한다고 밝혔다.
엔비디아 블랙웰(Blackwell)은 최근 세미애널리시스(SemiAnalysis)가 실시한 독립형 인퍼런스MAX(InferenceMAX) v1 벤치마크에서 테스트된 모든 모델과 활용 사례 전반에 걸쳐 가장 높은 성능과 효율성, 그리고 가장 낮은 총소유비용(total cost of ownership, TCO)을 제공했다.
엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 엔비디아 GTC 워싱턴 D.C.에서 블랙웰이 엔비디아 호퍼(Hopper) 대비 10배의 성능을 제공해 10배의 수익을 창출할 수 있다고 강조했다.
대규모 전문가 혼합 방식(mixture-of-experts, MoE) 모델과 같은 오늘날 가장 복잡한 AI 모델에서 이러한 업계 최고 수준의 성능을 달성하려면, 수백만 명의 동시 사용자에게 서비스를 지원하고 더 빠른 응답을 제공하기 위해 추론 작업을 여러 서버(노드)로 분산시켜야 한다.
엔비디아 다이나모 소프트웨어 플랫폼은 이러한 강력한 멀티 노드 기능을 프로덕션 환경에서 지원해, 기업이 기존 클라우드 환경 전반에서도 동일한 벤치마크 최고 수준의 성능과 효율성을 달성할 수 있다고 업체 측은 밝혔다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
.jpg){kind=logo}
