- 엔터프라이즈급 대용량 스트리밍 기술을 통한 통합 실시간 데이터 처리 및 저장 플랫폼 구현

웹-스케일 엔터프라이즈 스토리지 및 실시간 데이터베이스 기능을 통합한 아파치™ 하둡® 배포판 선두 기업인 맵알테크놀러지스(MapR Technologies, www.mapr.com/kr 지사장 김점배)는 맵알 스트림(MapR Streams)을 발표, 이를 통해 업계 최초이자 유일한 통합 데이터 플랫폼(Converged Data Platform)을 제공한다고 밝혔다.

고성능 고가용성의 글로벌 실시간 이벤트 처리 시스템인 맵알 스트림은 정보의 토픽(topic)에 따라 데이터 제작자 및 데이터 소비자를 연결해준다. 맵알 컨버지드 데이터 플랫폼(MapR Converged Data Platform)은 데이터 중심 애플리케이션을 가속화시키고, 급부상하고 있는 IoT(Internet of Things, 사물인터넷) 수요를 처리할 수 있도록 파일, 데이터베이스, 스트림 프로세싱 및 분석을 통합해 제공한다.

광고업체, 헬스케어 서비스 공급업체, 리테일 사업자, 통신 사업자 등 다양한 업계의 기업들은 지속적인 빅데이터 분석과 함께 중요한 실시간 이벤트에 대한 자사의 대응력을 향상시켜야 하는 상황에 놓여있다. 맵알은 맵알 스트림을 활용한 통합 플랫폼을 제공함으로써 모든 업계의 기업들이 스트리밍 데이터를 지속적으로 수집, 분석 및 실행할 수 있도록 지원할 예정이다.

가트너에 따르면 기존 워크로드가 점점 최적화돼 가는 가운데 IoT 데이터플로우의 등장으로 인해 새로운 워크로드가 생겨나고 있다. 이는 기존의 크기 및 속도 이슈를 넘어 하드웨어, 네트워킹뿐 아니라 다양한 데이터의 프로세싱, 보안 및 배포와 관련된 정보 관리 기술 요구사항을 포함하고 있는 것으로 나타났다.

컴스코어(comScore)의 마이클 브라운(Michael Brown) 최고기술경영자(CTO)는 “맵알은 데이터 중심 비즈니스를 위한 솔루션을 제공하는 기업 중 최전선에 있으며, 맵알은 데이터 변화를 성공적으로 처리하기 위해 핵심 아키텍처와 함께 최상의 빅데이터 플랫폼을 제공한다”며, “컴스코어의 시스템은 1일에 650억 개 이상의 새로운 이벤트를 분석하고 있으며, 맵알 스트림은 이와 같은 이벤트를 실시간으로 수집하고 처리할 수 있도록 설계됐다. 이는 자사 고객들에게 새로운 차원의 제품 서비스를 제공하는 기반이 될 것으로 확신한다.”고 말했다.

맵알 스트림은 고가용성(HA), 재해 복구(DR), 보안 및 전체 데이터 보호 등 엔터프라이즈급 기능은 물론, 대량의 데이터 플로우와 장기적인 지속성 지원을 위한 확장성을 제공한다.

라이슨 테크놀러지스(Liaison Technologies)의 브래드 앤더슨(Brad Anderson) 빅데이터 인포메틱 부문 부사장은 “라이슨 테크놀러지스의 고객들은 의료 및 금융 서비스 등 까다로운 보안, 규정 준수 및 민첩성을 요구하는 산업군에 속해있다. 라이슨 테크놀러지스는 맵알 스트림과 함께 통합된 맵알 플랫폼이 중요한 기준을 만족시키고, 자사 사용자들에게 실시간 데이터 서비스를 제공할 것으로 기대하고 있다.”고 전했다.

기업 내 다수의 시스템에서 개별 생성된 스트림 데이터에 대한 통합 처리 및 저장을 제공하지 못하는 타 플랫폼과는 다르게 맵알은 실시간 스트림 데이터 처리(data-in-motion), 저장(data-at-rest)을 단일 데이터 플랫폼에서 통합 지원한다. 이를 통해 맵알은 개발자들이 새롭고 혁신적인 애플리케이션을 개발할 수 있도록 지원해 데이터 중복 및 이동을 제거하고, 다수 플랫폼의 통합 및 유지보수에 소요되는 비용을 절감시키며, 비즈니스 성과를 가속화시킨다.

맵알테크놀러지스의 아닐 가드레(Anil Gadre) 제품 관리 부문 수석 부사장은 “맵알이 제공하는 최상의 NoSQL 데이터베이스, 글로벌 규모의 연속적이며 신뢰성 있는 스트리밍 및 세계적인 수준의 아파치 하둡(Apache Hadoop)과 아파치 스파크(Apache Spark) 지원은 엔터프라이즈 개발자들의 빅데이터를 활용한 차세대 애플리케이션 개발에 큰 획을 그었다고 할 수 있다”며, “맵알은 필수적인 구성요소를 모두 제공함으로써 기업들이 빅데이터로부터 쉽게 경쟁력을 얻을 수 있도록 지원하고 있다.”고 밝혔다.

개발자들은 맵알스트림을 통해 다음과 같은 혜택을 얻을 수 있다.

· 수천 개의 위치(location), 수백만 개의 토픽, 수십억 개의 메시지를 대상으로 확장 가능한 연속적인 대용량 고성능 실시간 스트림을 쉽게 구축할 수 있다.

· 스파크 스트리밍(Spark Streaming), 아파치 스톰(Apache Storm), 아파치 플링크(Apache Flink) 및 아파치 아펙스(Apache Apex)와 같은 기존 오픈 소스 프로젝트를 사용하면서 데이터 중복, 지연(latency) 및 불필요한 클러스터 확장(cluster sprawl)을 줄일 수 있도록 분석, 트랜젝션 및 스트림 프로세싱을 통합할 수 있다.

· 자동-장애복구(auto-failover, 오토 페일오버) 기능 및 데이터 일관성(consistency)과 함께 신뢰성 있는 메시지를 전달할 수 있다.

· 글로벌 실시간 애플리케이션을 구축할 수 있도록 지역간 복제를 지원한다.

· 스트림 내에서 모든 메시지의 무한한 지속성을 제공한다.

맵알은 데이터아티산(dataArtisans), 데이터브릭스(Databricks), 데이터 토렌트(DataTorrent), 스트림셋(Streamsets) 및 싱크소트(Syncsort) 등 많은 수의 업계 선도 기술 파트너들과 긴밀하게 협업하고 있으며, 실시간 분석 데이터 플랫폼에 고객이 원하는 구성요소를 선택할 수 있도록 유연성을 제공한다.

데이터브릭스의 카비타 마리아판(Kavitha Mariappan) 마케팅 부문 부사장은 "맵알은 아파치 스파크를 완벽하게 지원하고 있다. 맵알 스트림은 본 제품이 제공하는 규모, 성능 및 유연성과 함께 스파크 스트리밍에 매우 적합한 솔루션”이라며, “데이터브릭스는 맵알과의 지속적인 파트너십은 물론, 소스나 위치, 포맷에 관계없이 실시간 데이터 관리를 간소화시키는 강력하게 통합된 데이터 플랫폼을 공동 고객들에게 제공할 수 있을 것으로 기대하고 있다.”고 전했다.

맵알 스트림의 최종안정화(GA) 버전은 2016년 초 발표될 예정이다.