MLPerf 업계 표준 AI 벤치마크, AGX 오린은 엣지 컴퓨팅 주도

엔비디아 H100 텐서 코어(NVIDIA H100 Tensor Core) GPU가 모든 워크로드에 대한 추론에서 세계 기록을 세웠으며, 이전 세대 GPU보다 최대 4.5배 더 높은 성능을 제공하는 것으로 기록됐다. 

엔비디아가 MLPerf 업계 표준 AI 벤치마크에서 도출한 결과는 고급 AI 모델에서 최고의 성능을 요구하는 사용자를 위한 프리미엄 선택임을 보여준다.
 
더불어 AI 기반 로보틱스를 위한 엔비디아 A100 텐서 코어 GPU와 엔비디아 젯슨 AGX 오린(Jetson AGX Orin) 모듈은 이미지 및 음성 인식, 자연어 처리 및 추천 시스템과 같은 모든 MLPerf 테스트에서 전반적인 리더십 추론 성능을 지속적으로 제공했다.

호퍼로 알려진 H100은 라운드의 모든 6개 신경망에서 가속기 당 성능 기준을 높였다. 별도의 서버와 오프라인 시나리오에서 처리량과 속도 모두에서 리더십을 보였다.



엔비디아 H100 GPU는 데이터 센터 범주의 모든 워크로드에 대해 새로운 최고점을 설정한다.

엔비디아 호퍼 아키텍처는 MLPerf 결과에서 전반적인 리더십을 계속 제공하는 엔비디아 암페어(Ampere) 아키텍처 GPU보다 최대 4.5배 더 높은 성능을 제공한다.

부분적으로는 트랜스포머 엔진 덕분에 호퍼는 자연어 처리를 위한 인기 있는 BERT 모델에서 탁월했다. 이는 MLPerf AI 모델 중 가장 크고 성능이 필요한 모델 중 하나이다. 이러한 추론 벤치마크는 올해 말에 출시될 H100 GPU의 첫 공개 데모이다. H100 GPU는 훈련을 위해 향후 MLPerf 라운드에 참여할 예정이다.

A100 GPU는 데이터 센터, 엣지 컴퓨팅 범주 및 시나리오에서 제출된 것보다 더 많은 테스트를 통과했다.  A100은 지난 6월에 MLPerf 교육 벤치마크에서도 전반적인 리더십을 발휘해 AI 워크플로 전반에 걸쳐 능력을 입증했다.

2020년 7월 MLPerf에서 데뷔한 A100 GPU는 엔비디아 AI 소프트웨어의 지속적인 개선 덕분에 성능이 6배 향상됐다. 엔비디아 AI는 데이터 센터 및 엣지 컴퓨팅에서 모든 MLPerf 추론 워크로드 및 시나리오를 실행하는 유일한 플랫폼이다.

엣지 컴퓨팅에서 엔비디아 오린은 모든 MLPerf 벤치마크를 실행해 다른 어떤 저전력 시스템 온 칩(SoC)보다 더 많은 테스트를 통과했다. 그리고 지난 4월 MLPerf에서 처음으로 선보인 것보다 에너지 효율성이 최대 50% 향상됐다.

이전 라운드에서 오린은 이전 세대 젯슨 AGX 자비에(Xavier) 모듈보다 최대 5배 더 빠르게 실행됐으며, 평균 두배 더 나은 에너지 효율성을 제공했다.