[빅데이터를 지탱하는 기술] 빅데이터 탐색

1. 열 지향 스토리지

- 데이터를 대화식으로 시각화하고 그 내용을 알기 위해선 ‘초단위 고속집계’가 필요하다.

- 데이터 양을 모두 읽어들일 수 있을때는 한번에 BI도구로 읽어들일 수 있지만, 메모리상에 올릴 수 없을 정도로 많은 양의 데이터를 처리해야한다면 ‘열 지향 스토리지’가 필요하다.

- ‘MRP 데이터베이스’를 이용하면 병렬화에 의한 쿼리 고속화가 가능하다.

2. 시각화

- 시각화에 사용되는 도구로는 주로 ‘애드혹 분석’에 사용되는 ‘노트북’ 및 ‘지속적인 모니터링’에 사용되는 ‘대시보드‘ 또는 ‘대화형으로 데이터를 시각화‘하기 위한 ‘BI도구’등이 있다.

- BI 도구를 사용하고 싶을때에는 보고싶은 데이터를 한 곳에 모으는 ‘데이터 마트’를 구축해야한다.

 

3. 데이터 마트

- 데이터 마트를 구축할때에는 트랜잭션(처리정보)이 사실처럼 기록된 ‘팩트테이블’에 마스터 데이터 등의 ‘디멘전 테이블’을 모두 결합한 ‘비정규화 테이블’을 만든다.

- 테이블의 내용을 메모리에 담을 수 있을정도로 작으면 ‘RDB'를 데이터 마트로 사용할 수 있지만, 그렇지 않으면 ‘MPP 데이터베이스‘등을 이용하여 ‘열지향‘으로 데이터를 보관하는 것이 좋다.

 

4. 데이터 집계

- BI 도구로 비정규화 테이블을 오픈함으로써 전통적인 ‘OLAP(On-Line Analytical Processing)'에 의한 데이터의 집계처럼 ‘다차원 모델’을 이용한 데이터 분석이 가능하다.

- 다차원 모델은 ‘측정값‘ 과 ’디멘전‘으로 분류하여 정의함으로써, 피벗테이블과 마찬가지로 크로스 집계를 대량의 데이터에 대해 실행할 수 있다.