IBM의 “빅데이터 플랫폼 비즈니스 시스템” 사례

IBM은 분석용 데이터 저장관리업체인 네티자(Netezza), 데이터통합업체인 에센셜(Essential), 분석 솔루션 업체인 코그너스(Cognus) 등 다수의 비즈니스 분석 업체들을 인수하여 자체 빅데이터 솔루션으로 인포스피어 빅인사이트[InfoSphere Biginsight(Hadoop)], 인포스피어 스트림즈(InfoSphere Streams) 등을 개발했다.

<그림4> IBM의 빅데이터 아키텍처에 레이어 맵핑

출처: IBM

그림4를 살펴보면, 데이터를 수집/변환(①데이터 수집, ②데이터 정제)하고, 데이터를 저장/처리(③데이터 분석, ④데이터 정보화)한다. 마지막으로, 데이터분석/시각화(⑤정보 시각화)를 통해 정보를 제공한다.

더보기

사례별 빅데이터 아키텍처의 레이어 맵핑

시중에 알려져 있는 빅데이터 시스템은 대부분 위에서 언급한 아키텍처 레이어로 구성되어 있다. 이번 사례 연구는 언급된 5개의 레이어로 구분하여 살펴보고 각 레이어 별로 특징을 살펴보려 한다. 아키텍처를 그리는 전문가에 따라 아키텍처가 다양한 형태로 나타나지만, 아무리 복잡해도 5개의 레이어로 구분할 수 있다.

그림3은 오픈소스컨설팅의 빅데이터 통합 분석 아키텍처다. 앞에서 언급한 두 개의 예제처럼 5개의 빅데이터 아키텍처 레이어로 구분할 수 있다. 이렇게 구분하는 것을 강조하는 이유는 빅데이터 아키텍처를 구성할 때 해당 레이어에 속한 솔루션을 고민하면서 선택하는 것이 편하다는 것이다.

<그림3> 오픈소스컨설팅의 빅데이터 아키텍처에 레이어 맵핑

출처: 오픈소스컨설팅

더보기

빅데이터 아키텍처의 구성 요건

아키텍처의 가장 중요한 요소는 강건성이다. 아키텍처의 강건성은 외부 요인에 의해 아키텍처가 흔들리지 않는 것을 말한다. 다시 말해, 아키텍처 구성을 완료한 후, 외부 요인을 변경했을 때 기존에 구성한 아키텍처가 변경되지 않는 것을 나타낸다. 빅데이터 아키텍처를 구성하는데 강건성을 유지시킬 필요한 전제 조건이 몇 가지 있다.

< 빅데이터 아키텍처를 구성하는데 필요한 전제 사항 >

- 데이터의 라이프 사이클(수집, 정제, 분석, 저장, 폐기) 관리 가능     - 데이터 유형의 변화에도 아키텍처의 변경 없이 적용 가능     - 다양한 분석 알고리즘이나 도구가 적용 가능     - 비즈니스 요구사항에 맞는 적절한 분석 방법 지원     - 데이터의 용량이 증가해도 즉시 대응 가능

위와 같은 전제 사항을 기초로 빅데이터 아키텍처의 각 레이어에 맞춰 인프라를 구성하게 되는데 비즈니스 요구사항에 맞는 솔루션 선정, 구성하는 아키텍처와 인프라에 대한 기술적 이해, 각 레이어 간 연결 방안 수립, 그리고 아키텍처와 인프라에 대한 관리 도구 선정이 반드시 필요하다(표1).

<표1> 빅데이터 아키텍처의 구성 요건

이 밖에, 빅데이터 아키텍처는 아키텍처의 중요 요소인 강건성이 확보된 상태에서 확장이 용이하도록 확장성, 이중화 등으로 시스템이 안정적으로 운영될 수 있도록 안정성, 비즈니스 요구사항에 맞추어 다양한 솔루션으로 대체가능 하도록 유연성이 확보되어야 한다.

더보기