AI 확산으로 데이터 급증 및 보존 기간 장기화, 과거 데이터 활용 확대
WD는 자사가 후원한 글로벌 시장조사 업체 IDC의 새로운 글로벌 연구 결과를 발표했다. 이번 연구에 따르면, AI 인프라에 대한 논의가 컴퓨팅 중심에서 데이터로 확대되고 있다. 특히 컴퓨팅 작업이 끝난 이후에도 지속적으로 보존·축적되는 데이터가 기업이 AI를 확장하는 과정에서 반드시 고려해야 할 또 하나의 핵심 요소인 것으로 나타났다고 업체 측은 밝혔다.
WD가 후원한 IDC 백서 ‘확장성을 위한 설계: AI 시대 HDD의 지속적 역할(Built for Scale: The Enduring Role of HDDs in the AI Era)’에 따르면, 조사 대상 기업 및 기관 가운데, AI는 데이터 스토리지 수요의 구조적인 확대를 이끌고 있다. 기업들은 더 많은 데이터를 생성하고 데이터의 가치를 더욱 높게 인식하며, 이를 더 오래 보존하고 있다. 또한 새로운 AI 워크로드에 활용하기 위해 과거 데이터를 다시 온라인으로 가져오는 사례도 늘고 있다.
그 결과, AI가 데이터를 활용하는 동시에 기존에 저장된 데이터의 잠재적 가치도 높이는 ‘데이터 누적 사이클’이 형성되고 있다. 컴퓨팅 수요는 워크로드와 투자 주기에 따라 달라질 수 있지만, AI가 생성한 데이터는 지속적으로 보존되고 축적된다. 이에 따라 스토리지 용량과 접근성, 경제성은 AI 인프라 설계에서 더욱 중요한 고려 요소로 부상하고 있다는 것이다.
AI 확산으로 형성되는 데이터 누적 사이클에 대한 조사 대상 기업 및 기관의 94.7%는 지난 12개월간 AI 및 생성형 AI 도입 이후 저장해야 할 데이터가 늘었다고 답했다. 또한, 61%는 지난 1년간 AI로 인해 데이터가 25% 이상 늘었다고 답했으며, 74%는 향후 3년간 데이터가 25% 이상 증가할 것으로 내다봤다.
85.4%는 지난 12개월 동안 데이터 레이크(Data Lake)의 데이터 규모가 늘었다고 답했으며, 59.4%는 합성 데이터, 추론 결과, 모델 로그 등 AI가 생성한 데이터를 데이터 레이크 확대의 가장 큰 요인으로 꼽았다.
더불어 조사 대상 기업 및 기관의 약 95%는 AI 및 생성형 AI 도입 이후 보유 데이터의 가치가 높아졌다고 답했다. 74.3%는 AI 및 생성형 AI 도입으로 데이터를 이전보다 더 오래 보관하게 됐다고 응답했으며, 75.9%는 AI 워크로드에 활용하기 위해 기존에 아카이브해 둔 콜드 데이터를 다시 온라인으로 전환하는 사례가 늘고 있다고 답했다. 96%는 AI 추론 및 검색 증강 생성(RAG) 애플리케이션을 지원하기 위해 아카이브 데이터에 더 빠르게 접근할 필요가 있을 것으로 전망했다.
또한, 조사 대상 기업 및 기관의 엔터프라이즈 데이터 중 74.6%는 웜·쿨·콜드 스토리지 계층에 저장돼 있는 것으로 나타났다. 데이터 레이크의 60% 이상은 콜드 데이터 또는 접근 빈도가 낮은 데이터가 차지하는 것으로 나타났다는 것이다. 전체 응답자 중 98.2%는 스토리지 관련 의사결정 시 테라바이트(TB)당 총소유비용(TCO)을 중요하거나 매우 중요한 요소로 꼽았다.
어빙 탄(Irving Tan) WD CEO는 “지난 수년간 AI 인프라에 대한 논의는 컴퓨팅을 중심으로 이어져 왔지만, AI의 기반은 결국 데이터”라면서, “기업들은 더 많은 데이터를 생성하고 더 오래 보존하는 동시에, 이미 보유한 데이터에서 새로운 가치를 창출하는 방법을 찾고 있다”고 말했다. 이어 그는 “컴퓨팅 수요는 시간이 지나면서 변화하겠지만, 대규모 환경에서 데이터를 저장·관리하고 필요할 때 접근해야 하는 수요는 계속 늘어날 것”이라며, “이러한 데이터 기반은 AI가 얼마나 확장될 수 있는지를 결정하는 핵심 요소가 될 것”이라고 덧붙였다.
AI 워크로드는 학습 데이터셋과 모델 체크포인트, 추론 결과, 로그, 합성 데이터 등 전 과정에 걸쳐 다양한 데이터를 생성한다. 이를 처리하는 컴퓨팅 작업은 종료되더라도, 생성된 데이터의 상당 부분은 계속 보존돼 향후 새로운 AI 애플리케이션의 입력 데이터로 다시 활용될 수 있다. 이번 조사 결과는 기업과 기관이 데이터를 더 오래 보존하고 기존 데이터의 활용 범위를 넓히면서 스토리지 수요가 구조적으로 확대되고 있음을 보여준다고 업체 측은 전했다
이번 연구는 현재 활용 중인 데이터와 아카이브 데이터 간의 경계가 변화하고 있다는 점을 보여준다. 과거 데이터가 AI 워크로드를 위한 중요한 입력 데이터로 부상하면서, 한동안 활용되지 않았던 데이터가 다시 적극적인 활용 대상이 되고 있다. 이에 따라 데이터를 얼마나 오래 보관하고 어떻게 관리할지, 필요할 때 어떻게 활용할 수 있도록 할지에 대한 기준도 변화하고 있다는 것이다.
이러한 변화는 AI 데이터 수명주기 전반을 고려한 스토리지 아키텍처의 중요성을 더욱 높이고 있다. 데이터 규모가 커지고 보존 기간이 길어지며 과거 데이터까지 다시 활용되면서, 기업과 기관은 워크로드 특성에 맞춰 성능과 용량, 데이터 접근성, 경제성을 균형 있게 고려해야 한다. 특히 대규모 AI 환경에서는 데이터를 어디에 저장할지, 그리고 저장 및 접근에 얼마나 많은 비용이 드는지가 인프라 설계의 중요한 고려 요소로 부상하고 있다는 설명이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
