빅 데이터 문제를 효과적으로 해결하는 종합적인 빅 데이터 플랫폼

모든 데이터의 미래를 위한 변화의 혁신을 제공하는 세계 최고의 독립 소프트웨어 공급업체인 인포매티카(Informatica, 한국 지사장: 정연진)는 오늘 빅 데이터 통합, 빅 데이터 품질 및 거버넌스, 빅 데이터 보안을 단일 통합 솔루션으로 결합하는 업계 최초의 빅 데이터 관리 솔루션인 Informatica Big Data Management를 발표했다.

67% 이상의 기업이 빅 데이터를 커다란 기회로 여기고 있지만 대부분의 빅 데이터 프로젝트는 실패로 끝난다[1].  새로운 인포매티카 솔루션인 Informatica Big Data Management를 통해 빅 데이터 프로젝트가 실패하는 원인으로 자주 손꼽히는 데이터 관리 문제를 효과적으로 해결할 수 있으며, 핸드코딩과 빅 데이터 스킬 세트에 대한 필요성을 크게 줄여준다.

Big Data Management ? 3가지 통합 구성 요소

다양한 규모의 빅 데이터 를 동적으로  통합

전통적인 형식의 데이터부터 스트리밍 데이터까지 다양한 데이터 소스를 하둡으로 가져오는 데에 시간이 너무 많이 소요된다. Informatica Big Data Integration을 통해 조직은 다음을 수행할 수 있다.

· 거의 즉각적으로 수집

o  광범위한 연결성 ? 사전에 내장된 200개 이상의 Informatica 고성능 커넥터를 통해 모든 유형의 데이터를 하둡, NoSQL 및 MPP 어플라이언스와 같은 빅 데이터 플랫폼으로 신속하게 수집.

o  처리량이 높고 대기 시간이 짧은 데이터 통합 ? 대용량 수집 및 실시간 스트리밍을 통해 처리량을 높이고 데이터 통합의 대기 시간 단축.

· 모든 프로세스 지원

o  독창적인 확장가능한 처리 ? 하둡에서 기본적으로 실행되는 100개 이상의 사전 내장된 데이터 통합 및 데이터 품질 변환과 파서를 통해 대규모 데이터 세트를 확장하여 처리.

o  자동화된 데이터 통합 프로세스 ? 동적 매핑 및 매개 변수화를 통해 데이터 통합 프로세스에 대한 프로그래밍 자동화.

o  시각적인 그래픽 개발 ? 시각적인 개발 환경을 통해 핸드 코딩보다 최대 5배 더 빠르게 데이터 파이프라인 개발.

· 최적화된 구축

o  간편한 프로비저닝 ? 마법사 및 매핑 템플릿을 통해 수천 개에 달하는 소스의 데이터를 데이터 호수 또는 운영 데이터 저장소로 간편하게 프로비저닝 가능. 단 몇 개의 템플릿만을 사용하여 구축 패턴에 따라 런타임에 모든 유형의 데이터 흐름을 자동으로 생성할 수 있으므로 생산성 및 유지보수의 간편성이 크게 향상.

o  변화하는 환경에 대한 적응성 ? 동적인 스키마 지원으로 유동적인 데이터 형식에 대한 연결 가능.

o  최적화된 엔진 ? 다양한 규모로 데이터를 통합할 수 있도록 성능 및 리소스 활용 최대화.  Informatica는 YARN을 통해 MapReduce와 새로운 Informatica Blaze 엔진을 사용하여 빅 데이터 워크로드를 최적화.

포괄적인 빅 데이터 품질 및 거버넌스

조직에서 많은 품질 및 거버넌스 문제를 초래하는 빅 데이터를 신뢰하는 것은 쉽지 않다. 동일한 데이터가 여러 가지 목적으로 사용되면서 데이터 품질에 대한 요구가 바뀌고 있다. 또한 모든 사물과 사람들이 상호 연결되어 있기 때문에 일단 발견하기만 하면 굉장한 통찰력을 확보할 수 있는 숨겨진 관계가 존재하는 경우도 있다. 신뢰 문제는 새로운 외부 데이터 소스로 인해 더 커졌다. Informatica Big Data Management를 통해 조직은 손쉽게 이러한 문제를 해결하고 빅 데이터를 기회로 삼아 투명성, 감사 기능, 민첩성 및 신뢰를 보장함으로써 비즈니스 가치를 높일 수 있다.  Informatica Big Data Quality and Governance는 조직에 다음을 제공한다.

· 협업 관리

o  IT/현업 부서 협업 ? 비기술직 사용자를 위한 직관적인 환경은 분석가 및 데이터 관리자가 포괄적인 데이터 관리 프로세스에 효과적으로 참여할 수 있도록 해 주며, 종합적인 비즈니스 프로세스 관리 기능은 현업 부서 및 IT 부서 관계자 간의 협업 촉진.

o  빅 데이터 프로파일링, 검색 및 알림 ? 비즈니스 규칙 프로파일링을 비롯하여 데이터 프로파일링 및 검색 기능을 통해 데이터 품질 문제 및 이상을 강조하여 표시하고 모니터링 규칙 및 알림을 손쉽게 생성하여 품질 문제 추적 및 표시.

·  360도 통찰력

o  360도 관계 검색 ? 모든 빅 데이터 환경에서 전체적인 관계를 높은 성능으로 유연하게 검색(관계자, 가족 등).

o  라이브 데이터 맵 ? 범용 메타데이터 카탈로그 및 지식 그래프를 통해 기업 데이터를 검색 및 이해할 수 있으며 다양한 규모의 지식 그래프를 빠르게 생성.

·  완벽한 확신

o  확장성이 뛰어난 데이터 품질 프로세스 ? 확장을 위해 하둡에 데이터 유효성 검사, 보강 및 중복 제거 구축

o  종합적인 감사 및 분석 ? 하둡을 능가하는 데이터 계보에 대한 엔드 투 엔드 가시성을 통해 규정 준수를 지원하고 데이터 품질의 근본 원인과 결과를 효과적으로 분석.

위험 중심의 빅 데이터 보안

빅 데이터가 확산됨에 따라 조직은 갈수록 민감한 데이터가 있는 위치와 신뢰할 수 있는 데이터 자산을 파악하는 데 어려움을 겪고 있다. Informatica Big Data Management는 민감한 데이터, 확산, 사용, 출처 및 보호 상태를 검색하여 민감한 데이터 위험 및 취약점을 분석하고 시각화한다. 또한 기업 정책 및 업계 규정에 따라 관리되는 정보를 식별 불가능하게 하거나 마스킹을 하여 민감한 데이터를 보호한다. Informatica Big Data Security는 조직에 다음을 제공한다.

·  전체  영역에 대한 가시성

o  컨텍스트에 따라 민감한 데이터 검색 ? 조직은 민감한 데이터에 액세스하는 직원, 데이터에 실제로 액세스하고 있는 직원, 데이터의 보호 여부와 데이터가 확산되고 있는 위치(데이터 흐름, 계보 및 이력 추적 등) 파악.

o  시각화 ? 시각화 및 보고서 기능을 통해 지역, 기능 및 랭킹 특성별로 민감한 데이터 식별.

·  위험 분석

o  위험 평가 ? 위치, 확산, 비용, 보호 상태를 분석하여 민감한 데이터 위험을 판단하고 개선이 필요한 취약점을 강조 표시.

o  민감한 데이터 검색 ? 민감한 데이터 프로파일링, 검색 및 분석을 통해 조직은 빅 데이터 보안 위험을 명확하게 파악.

o  활성화된 알람 ? 알람을 통해 관리자 및 보안 전문가에게 고위험 상태 통보.

·  정책 기반 보호

o  애플리케이션, 테스트 환경, 보고 및 분석를 위한 식별 불가능화 ? 중앙 집중화된 정책 관리를 활용하여 민감한 데이터를 안전하게 보호.  동적인 데이터 마스킹은 사용자 역할 및 권한을 기반으로 운영 환경에서 민감한 데이터를 식별할 수 없도록 하며 데이터를 지속적으로 마스킹하면 테스트, 개발 및 교육과 같은 비운영 환경에서 아카이브된 민감한 데이터를 실시간으로 보호 가능.

한국인포매티카 정연진 지사장은 "데이터는 비즈니스의 핵심이며 오직 인포매티카만이 빅 데이터에 대한 엔드 투 엔드 데이터 관리를 제공할 수 있다. 빅 데이터는 경쟁 차별화, 탁월한 고객 경험 및 비즈니스 혁신을 이끌 차세대 분야”라며, “신속한 프로젝트 구현부터 데이터에 대한 확신과 민감한 정보 보안에 대한 보장에 이르기까지 Informatica Big Data Management는 독보적인 자동화, 사전에 내장된 도구 및 최적화된 기능을 통해 현업 및 IT 부서의 역량을 강화한다. Big Data Management를 통해 빅 데이터의 비즈니스 가치를 최대화하는 실험 및 완벽한 미션 크리티컬 운영 구축을 신속하게 실현할 수 있다."고 밝혔다.