키미 K2 씽킹, 딥시크-R1, 미스트랄 3, 엔비디아 GB200 NVL72로 10배 속도 향상




엔비디아가 최첨단 AI 모델들이 채택하고 있는 전문가 혼합 방식(mixture-of-experts, MoE) 모델 아키텍처의 성능을 극대화하는 엔비디아 블랙웰 GB200 NVL72(NVIDIA Blackwell GB200 NVL72)의 기술적 성과를 공개했다.

두뇌가 작업에 따라 특정 영역만 활성화하는 것처럼, MoE 모델은 작업을 전문화된 '전문가(Experts)'에게 분배해, 각 AI 토큰마다 해당되는 전문가만을 활성화한다. 이로 인해 연산량 증가 없이 더 빠르고 효율적으로 토큰을 생성할 수 있다.

업계는 이미 이러한 장점을 인정하고 있다. 독립 평가 기관인 아티피셜 애널리시스(Artificial Analysis, AA)의 리더보드에서 상위 10개 오픈소스 모델 모두 MoE 아키텍처를 사용하고 있다. 여기에는 딥시크 AI(DeepSeek AI)의 딥시크-R1(DeepSeek-R1), 문샷 AI(Moonshot AI)의 키미 K2 씽킹(Kimi K2 Thinking), 오픈AI(OpenAI)의 gpt-oss-120B, 미스트랄 AI(Mistral AI)의 미스트랄 라지 3(Mistral Large 3) 등이 포함된다.

MoE 모델을 실제 프로덕션 환경에서 고성능으로 확장하는 일은 매우 어렵다. 그러나 엔비디아 GB200 NVL72 시스템의 하드웨어·소프트웨어 초협업 설계(extreme codesign)는 최고 수준의 성능과 효율성을 제공함으로써, MoE 모델 확장을 실용적이고 간편하게 만든다고 업체 측은 밝혔다.

AA 리더보드에서 가장 지능적인 오픈소스 모델로 평가된 키미 K2 씽킹 MoE 모델은 엔비디아 HGX H200 대비 엔비디아 GB200 NVL72 랙 규모 시스템에서 10배의 성능 향상을 보인다. 딥시크-R1과 미스트랄 라지 3 MoE 모델에서 입증된 성능을 기반으로 한 이번 성과는 MoE가 프런티어 모델의 표준 아키텍처로 자리 잡고 있음을 보여준다. 또한 엔비디아의 풀스택 추론 플랫폼이 MoE의 잠재력을 온전히 발휘하기 위한 핵심 요소임을 강조한다.

최근까지 더 똑똑한 AI를 구축하는 업계 표준은 단순히 더 크고 밀도 높은 모델을 만드는 것이었다. 이러한 모델은 모든 토큰을 생성하기 위해 모델 매개변수를 모두 사용한다. 현재 최고 성능 모델의 경우 매개변수는 수백억 개에 달하기도 한다. 이 접근 방식은 강력하지만 막대한 컴퓨팅 파워와 에너지를 필요로 해 확장이 어렵다.

인간의 두뇌가 언어 처리, 사물 인식, 수학 문제 해결 등 다양한 인지 작업을 특정 영역에 의존하는 것과 마찬가지로, MoE 모델은 여러 ‘전문가’로 구성된다. 주어진 토큰에 대해 라우터는 가장 관련성이 높은 전문가들만 활성화한다. 이 설계 덕분에 전체 모델이 수천억 개의 매개변수를 포함할지라도, 토큰 생성에 사용되는 매개변수는 수백억 개 수준의 소수 집합에 그치기도 한다.

인간의 두뇌가 특정 영역을 다양한 작업에 사용하는 것처럼, MoE는 라우터를 사용해 각 토큰을 생성할 때 가장 관련성 높은 전문가만을 선택한다.

가장 중요한 전문가들만을 선택적으로 활용함으로써, MoE 모델은 계산 비용의 증가 없이 더 높은 지능과 적응성을 달성한다. 이는 성능 대비 비용 또는 전력에 최적화된 효율적인 AI 시스템의 기반이 되며, 투자된 에너지와 자본 단위당 훨씬 더 많은 인텔리전스를 생성한다.

이러한 장점 덕분에 MoE가 최첨단 모델의 선호 아키텍처로 급부상한 것은 당연한 결과이다. 올해 공개된 오픈소스 AI 모델의 60% 이상이 이를 채택했다. 2023년 초 이후 MoE는 모델 지능을 약 70배 향상시켜 AI 능력의 한계를 확장해 왔다.

미스트랄 AI의 기욤 람플(Guillaume Lample) 공동 창업자 겸 수석 과학자는 “2년 전 믹스트랄(Mixtral) 8x7B로 시작한 OSS 전문가 혼합 방식 아키텍처에 대한 우리의 선구적인 작업은 다양한 애플리케이션에 고급 인텔리전스를 접근 가능하고 지속 가능하게 보장한다"라며 "미스트랄 라지 3의 MoE 아키텍처는 에너지와 컴퓨팅 수요를 획기적으로 낮추면서 AI 시스템을 더 높은 성능과 효율성으로 확장할 수 있게 한다”고 말했다.