- 헝크 이용해 하둡과 NoSQL 데이터 스토어의 애널리틱스 작업 쉽고, 빠르게 처리

실시간 인텔리전스 소프트웨어 플랫폼 선두업체인 스플렁크가 하둡과 NoSQL 데이터 스토어 용 헝크 스플렁크 애널리틱스 6.1을  발표했다.

헝크 6.1은 하둡과 NoSQL 데이터 스토어에 있는 비정형 원천 데이터를 비즈니스 관련 지식으로 더욱 빠르고 쉽게 전환한다. 헝크의 가속화된 보고서는 보고 시간을 현격하게 개선하며 쌍방향 대시보드는 고정된 스키마나 데이터를 이동할 필요 없이 풍부한 셀프 서비스 애널리틱스를 구현한다. 헝크 6.1은 스트리밍 리소스 라이브러리를 통해 헝크의 기능을 하둡 뿐만 아니라 NoSQL 은 물론 아파치 어큐물로(Apache Accumulo), 아파치 카산드라(Apache Cassandra), 몽고(Mongo)DB 및 Neo4j와 같은 기타 데이터 스토어에서도 적용할 수 있게 한다. 스플렁크 웹사이트에 방문하면 헝크 60일 무료 체험 버전을 다운받을 수 있고 헝크와 관련된 보다 상세한 정보를 확인할 수 있다.

스플렁크 제품 마케팅 담당 부사장인 산자이 메타(Sanjay Mehta)는 “헝크는 하둡과 NoSQL에 저장된 엄청난 양의 데이터를 분석하는 복잡한 작업을 간단하게 만들어준다”면서 “헝크는 사용하지 않고 쌓아둔 엄청난 양의 과거 데이터에서 쉽고 빠르게 가치를 얻고자 하는 기업들에게 이상적이다. 다른 대안을 이용한다면 전문화된 일련의 스킬, 고정된 스키마, 복잡한 프로그래밍이나 데이터 이동이 필요하다.  이 모든 작업은 결국은 시간 낭비와 기회 상실로 이어진다. 이제 헝크 기능을 확장해 하둡은 물론 NoSQL 데이터 스토어에서도 활용할 수 있게 되었기 때문에 NoSQL 개발자들이 헝크를 어떻게 이용할지 매우 기대가 된다”고 말했다.

벤타나 리서치(Ventana Research)의 부사장 겸 리서치 이사인 토니 코센티노(Tony Cosentino)는 “하둡과 기타 빅데이터 스토어의 채택이 확대되고는 있지만, 벤타나의 조사에 따르면, 이러한 프로젝트에서 나온 애널리틱스 결과물은 제한적이다. 헝크는 빠른 애널리틱스와 가치 창출 시간 단축에 중점을 두고 이를 바꾸고자 한다”면서,  “이제 NoSQL 개발자들도 애널리틱스 기능을 활용할 수 있도록 헝크 기능을 확대함으로써 스플렁크는 빅 데이터 애널리틱스의 기회를 추가로 확대하게 되었다”고 밝혔다.

하둡과 NoSQL을 아우르는 헝크의 기능

헝크 6.1은 새로운 기능 추가와 기존 기능의 업데이트를 통해 기업들이 하둡 및 NoSQL 데이터 스토어에 저장된 데이터에서 비즈니스 가치를 창출할 수 있도록 지원한다.

 · 스플렁크 가상 인덱스(Splunk Virtual Index): 특허 출원 중인 기술로 데이터 액세스 와 애널리틱스 티어로부터 스토리지 티어를 분리시켜 헝크가 다양한 데이터 스토어로 요청을 보낼 수 있게 한다.
· 보고 가속화(Report Acceleration): 검색 결과를 하둡에 투명하게 캐시 저장함으로써 데이터를 이동하지 않고도 보고 응답 시간 및 성능을 개선한다. 데이터 양과 쿼리 수가 늘어나면서 하둡 리소스를 보다 효율적으로 활용한다.
· 쌍방향 대시보드 및 차트(Interactive Dashboards and Charts): 새로운 대시보드 에디터로 사용자 정의 대시보드를 신속하게 구축하고 오버레이(overlay), 팬 앤 줌(pan-and zoom) 컨트롤, 인-대시보드 드릴 다운(in-dashboard drill down) 등의 기능으로 애널리틱스 경험을 개선한다.
· 임베디드 애널리틱스(Embedded Analytics): 헝크 차트와 대시보드를 일반 제3자 비즈니스 애플리케이션에 임베드한다.
· 스트리밍 리소스 라이브러리(Streaming Resource Libraries): NoSQL, 아파치 어큐물로, 아파치 카산드라, 몽고DB, Neo4j 등의 기타 데이터 스토어에서 데이터를 스트리밍해서 헝크 안에서 조사, 분석, 시각화 할 수 있다.
· 다양한 파일 포맷 지원: 텍스트 파일, 시퀀스 파일, RC파일(Record Columnar Files), ORC(Optimized Row Columnar) 파일, PC(Parquet columnar) 파일 등의 파일 액세스를 자동화한다.
· PTA(Pass-through Authentication): 맵리듀스(MapReduce) 잡(job) 제출이 가능하고 IT가 할당한 인증된 크리덴셜(credentials)과 역할을 사용해서 하둡 클러스터 액세스를 확보한다.

헝크에는 개발자들에게 친숙한 언어와 프레임워크를 사용해서 빅데이터 애플리케이션을 구축할 수 있는 강력한 환경이 조성되어 있다. 또한 헝크에는 표준 기반 웹 프레임워크, 문서화된 REST API, 이클립스 플러그 인(Eclipse plug-in)은 물론 C#, 자바(Java), 자바스크립트(JavaScript), 파이톤(Python), PHP, 루비(Ruby)용 소프트웨어 개발 키트도 포함되어 있다.

전세계 기업들과 주요 NoSQL 벤더, 헝크 6.1 베타 테스트 참여

스플렁크 고객들과 몇몇 주요 NoSQL 벤더들은 헝크 6.1의 베타 테스트에 참여했다. 보고서 가속화, 쌍방향 대시보드와 차트 그리고 PTA(pass-through authentication) 등의 주요 기능 및 특징이 버전6.1에 포함되었다. 

주가지수와 상품 파생상품을 전문으로 하는 주요 프롭 트레이딩(proprietary trading: 자가매매)법인인 벨베데레 트레이딩(Belvedere Trading)의 인프라 팀장인 마이클 사이아(Michael Saia)는 “헝크는 벨베데레 트레이딩에서 하둡 공간으로 가는 필수 진입로 역할을 해왔다. 헝크를 사용하면서 손으로 작성된 맵리듀스 작업으로는 절대 하지 못할 방식으로 데이터를 쌍방향으로 탐구, 검증할 수 있다. 특히 키보드를 사용하는 프로그래밍 경험보다는 정량적 백그라운드가 강한 사람들에게는 더욱 그러하다”면서, "게다가 하둡에 위치한 데이터와 스플렁크 엔터프라이즈를 통해 이미 수집한 실시간 머신 데이터를 통합하는 헝크 기능을 활용함으로써 상당히 쉽게 두 데이터 간의 상관관계를 도출할 수 있게 될 것”이라고 말했다.

서비스 및 콘텐츠 제공업체를 대상으로 미디어 딜리버리 솔루션을 제공하는 글로벌 공급업체인 밴트릭스(Vantrix)의 제품 관리 담당 부사장인 마크 호퍼(Mark Hopper)는 “서비스 및 콘텐츠 제공업체에 있어 효율적인 미디어 딜리버리와 트래픽 관리는 네트워크 리소스, 최종 사용자 경험, 기회 수익화 간의 복잡한 균형을 맞추는 일이다. 헝크는 간단하지만 강력한 사용자 인터페이스를 통해 밴트릭스가 테라바이트에 이르는 모바일 네트워크 사용 데이터를 신속하게 조사, 분석, 시각화 할 수 있게 해준다. 밴트릭스는 이를 통해 고객들에게 네트워크 트래픽, 고객 사용 행동, 고객 경험에 대해 많은 정보를 제공할 수 있다”면서, “헝크는 가상화된 하둡 플랫폼에 네이티브(native)로 운영되고, 본사 트래픽 로그에 쉽게 맞출 수 있으며, 유연하면서도 성능 기준에 맞는 셀프 서비스 모델로 새로운 통찰력 발견을 지원함으로써 본사 고객의 비즈니스를 개선한다. 이것이 밴트릭스가 헝크를 선택한 이유이다. 밴트릭스는 역할 기반의 보안 통제 내에서 더 많은 사용자를 대상으로 헝크를 확대하고 있으며 그 가운데 헝크의 새로운 보고 가속화 기능을 사용하게 되어 매우 기쁘게 생각한다. 이 새로운 보고 기능으로 그 전보다 훨씬 더 빨리 검색 결과를 얻을 수 있을 것”이라고 말했다. 

몽고DB의 비즈니스 개발, 마케팅 담당 부사장인 매트 어세이(Matt Asay)는 “헝크와 몽고DB의 결합으로 우리 양사 고객들은 그 어느 때보다 더 빨리 데이터를 이해하고 분석하게 되었다”면서, “몽고BD에 저장된 JSON 문서로 헝크 안에서 검색하고 시각화할 수 있는 것은 강력한 OOTB(out-of-the-box)기능이다.  또한 헝크는 하둡과 몽고DB 양쪽 환경의 데이터를 하나의 대시보드 세트에 제시함으로써 복잡한 데이터 취합 목적으로는 하둡을 사용하고, 동시에 문서 저장 목적으로는 몽고DB를 사용하는 많은 고객들의 통합을 더욱 강력하게 만들어 준다”고 말했다.

네오 테크놀로지(Neo Technology)의 CEO인 에밀 에이프렘(Emil Eifrem)은 “양 기술을 모두 사용하는 고객들은 통신 운영 애널리틱스, 이상거래 탐지, 사물 인터넷 목적으로 헝크를 Neo4J와 함께 사용하고 싶다고 말한다. 사용자들은 헝크를 통해 Neo4j 그래프 데이터베이스에 연결된 데이터를 모두 취합하고 하둡 내 로그 데이터와 함께 볼 수 있게 될 것이다. 이 모두가 하나의 헝크 인터페이스를 통해 가능하게 된다”면서 “최종 사용자들은 헝크의 강력한 애널리틱스 기능을 Neo4j의 그래프 파워와 결합해 운영 인텔리전스 개선 혜택을 보게 될 것”이라고 덧붙였다. 

스크를(Sqrrl)의 CEO인 마크 테렌조니(Mark Terenzoni)는 “스크를 엔터프라이즈(Sqrrl Enterprise)와 헝크의 통합으로 미 국방부, 정보계, 민간 분야의 양사 고객들이 수 십 페타바이트나 그 이상의 엄청난 양의 데이터를 신속하게 스키마 없이 검색, 분석, 시각화 할 수 있는 길이 열렸다”면서, “헝크의 역할 기반 보안과 스크를의 데이터 중심 보안, 아파치 어큐물로의 셀(cell) 레벨 보안이 결합되어 우리 공동 고객들은 과거에는 활용하지 못한 빅 데이터의 잠재력을 안전하게 활용할 수 있게 되었다”고 말했다.

스플렁크 웹사이트를 방문하면, 헝크 관련 새소식을 확인하고, 헝크 동영상을 볼 수 있다.