Lakehouse//RT, ‘레이든’ 기반으로, 실시간 서빙 레이어 없이도 밀리초 단위 저지연 분석 지원
데이터브릭스(Databricks)가 자사 레이크하우스의 실시간 진화 버전인 ‘Lakehouse//RT(Real-time)’를 발표했다.
Lakehouse//RT를 통해 기업은 거버넌스가 확보된 델타 레이크(Delta Lake) 및 아파치 아이스버그(Apache Iceberg™) 데이터에서 실시간 분석을 직접 수행할 수 있게 되었으며, 밀리초 단위의 성능을 확보하기 위해 별도의 서빙 시스템을 구축해야 했던 번거로움을 완전히 해소할 수 있게 되었다는 설명이다.
현대적인 에이전트 중심 기업(agentic enterprises)의 높은 동시성과 낮은 대기 시간 요구사항을 충족하도록 설계된 새로운 컴퓨팅 엔진 ‘레이든(Reyden)’을 기반으로 하는 Lakehouse//RT는 현재 베타 버전으로 제공된다.
그동안 높은 동시성 환경에서 낮은 대기 시간을 필요로 하는 기업들은 레이크하우스와 병행하여 별도의 실시간 서빙 레이어를 구축하는 것 외에 대안이 없었다. 그러나 이러한 서빙 레이어는 특정 벤더에 대한 종속성을 유발하고, 인프라 비용을 증가시키며, 거버넌스를 파편화할 뿐만 아니라, 데이터가 늘 복사본 형태로 존재하기 때문에 진정한 의미의 실시간을 실현하지 못한다는 한계가 있었다.
결과적으로 기업들은 대기 시간을 감수하거나 데이터 스택의 파편화를 수용해야 하는 강제적인 타협을 해야만 했다. 이는 사용자에게도 큰 번거로움이지만, AI 에이전트 환경에서는 치명적인 걸림돌이 된다. 항상 가동되며 루프 내에서 추론을 수행하는 AI 에이전트의 행동 능력은 기업의 복잡한 데이터를 얼마나 신속하게 쿼리할 수 있는지에 전적으로 달려있기 때문이다.
업체 측에 따르면, Lakehouse//RT는 이러한 타협의 필요성을 없애기 위해 개발되었다. 거버넌스가 확보된 레이크하우스 내에서 델타 및 아이스버그 테이블을 직접 쿼리하므로, AI 에이전트와 사용자는 데이터를 복사하거나 이동하지 않고도 최신의 완전하고 신뢰할 수 있는 데이터에 접근할 수 있다.
Lakehouse//RT의 실행 엔진은 일관된 저지연 성능을 유지하면서도 수만 명의 동시 사용자 및 에이전트를 지원하도록 설계되었다. 표준 분석 벤치마크 기준으로 Lakehouse//RT는 초당 12,000 쿼리 처리 시에도 100ms 미만의 지연 시간을 기록했으며, 고객들은 기존 실시간 서빙 스택 대비 최대 16배 향상된 성능을 확인했다. 또한 Lakehouse//RT는 별도의 서빙 레이어를 둘 필요가 없어지기 때문에, 이에 수반되는 유지비용, CDC 및 동기화 파이프라인, 거버넌스 공백, 고유 포맷으로 인한 벤더 종속성 문제까지 모두 해결할 수 있다고 업체 측은 전했다.
데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 “지난 10년 동안 우리는 스파크(Spark)를 통한 데이터 엔지니어링 및 데이터 사이언스, 그리고 포톤(Photon)과 레이크하우스를 통한 데이터 웨어하우징에 이르기까지 현대 데이터 스택의 주요 워크로드를 단일 개방형 기반 위에 통합해 왔다”며, “Lakehouse//RT는 엔진의 전체 스펙트럼을 완성하여 사람들이 원하고 에이전트가 필요로 하는 밀리초 단위의 속도 레이어를 제공한다”고 밝혔다. 이어, “우리가 가장 우수한 데이터 웨어하우스가 곧 레이크하우스임을 증명했듯이, 이제 가장 뛰어난 실시간 분석 엔진 역시 레이크하우스라는 점을 보여줄 것”이라고 강조했다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
