“HBM 한계 넘어 AI 데이터센터·엣지 컴퓨팅 최적화”… 대용량·저전력 차세대 메모리 아키텍처 제시
샌디스크(Sandisk)가 AI 데이터센터와 엣지 컴퓨팅 환경에 최적화된 차세대 메모리 기술 ‘고대역폭 플래시 메모리(HBF, High Bandwidth Flash Memory)’를 제시하며, AI 추론 중심으로 변화하는 컴퓨팅 환경에 대응하기 위한 새로운 메모리 아키텍처 방향성을 공개했다.
알퍼 일크바하르(Alper Ilkbahar) 샌디스크 CTO는 5월 8일 발표한 기고문을 통해 AI 확산으로 데이터센터와 엣지 환경 전반에서 메모리 구조의 근본적인 변화가 요구되고 있다고 진단했다.
샌디스크에 따르면 현재 전체 데이터센터 가운데 AI 워크로드를 처리할 수 있는 환경은 약 7분의 1 수준에 불과하지만, 2030년까지 그 비중은 약 70%에 이를 것으로 전망된다. AI는 하이퍼스케일 데이터센터를 넘어 엔터프라이즈와 네트워크 엣지 환경으로 빠르게 확산되고 있으며, 엣지 AI 애플리케이션 시장도 이번 10년 안에 약 665억 달러 규모로 성장할 것으로 예상된다.
샌디스크는 기존 DRAM 및 HBM(고대역폭 메모리)이 대규모 AI 추론 워크로드 요구를 충족하는 데 구조적 한계를 보이고 있다고 분석했다. 특히 AI 추론은 학습(training)과 달리 대규모 모델 저장과 지속적인 데이터 처리 효율성이 중요하지만, 기존 메모리는 용량과 전력 효율, 비용 측면에서 부담이 커지고 있다는 설명이다.
샌디스크는 AI 추론 환경에 적합한 차세대 메모리의 핵심 조건으로 △대용량 및 확장성 △높은 메모리 집적도 △높은 대역폭 △낮은 전력 소비 △비용 효율성 등을 제시했다.
이를 위해 제안된 HBF는 샌디스크의 BiCS NAND 설계 및 제조 기술과 다이 아키텍처를 기반으로 개발된 메모리 구조다. 샌디스크는 HBF가 기존 HBM 대비 더 높은 용량과 메모리 집적도를 제공하면서도 AI 추론에 필요한 높은 처리량을 유지할 수 있다고 설명했다.
특히 비휘발성 메모리 특성을 기반으로 전원이 꺼져도 데이터를 유지할 수 있으며, 높은 동작 온도에서도 안정적으로 운영 가능한 점도 특징으로 꼽았다.
샌디스크는 HBF가 기존 NAND 플래시 대비 병렬 처리와 적층 기술 최적화를 통해 읽기 대역폭과 지연 시간을 개선했다고 밝혔다. 이를 통해 대형 언어 모델(LLM)이 DRAM에 가까운 속도로 데이터를 처리할 수 있으며, 대규모 KV 캐시를 지원해 AI 추론 정확도 향상에도 기여할 수 있다는 설명이다.
HBF는 데이터센터뿐 아니라 엣지 AI 환경에서도 활용 가능성이 높게 평가된다. 샌디스크는 HBM이 비용과 전력, 집적도 한계로 인해 모바일 및 엣지 환경 적용이 제한적인 반면, HBF는 보다 복잡한 AI 추론을 처리하기 위한 대용량 메모리 수요를 지원할 수 있다고 설명했다.
또한 엔터프라이즈 환경에서도 HBF 기반 가속기를 활용하면 중소 규모 기업이 대규모 GPU 클러스터 없이도 도메인 특화 AI 모델을 운영·미세조정할 수 있을 것으로 전망했다.
알퍼 일크바하르 CTO는 “이제는 예측과 생성 중심의 대규모 AI 추론 모델을 지원하기 위해 데이터센터와 엣지 메모리 구조를 재고해야 할 시점”이라며, “HBF는 AI 추론에 필요한 처리량과 용량을 동시에 충족하며 차세대 AI 컴퓨팅 환경의 성능 병목을 줄이는 데 기여할 것”이라고 밝혔다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
