DW(Data Warehouse)에 대해 정확한 감이 잡히지 않아 구글링
DB란
DW에 앞서 DB에 대해 간략하게 설명하자면
- DB : DataBase
- DB는 Data의 집합체로 Data를 조직화해 저장하며 기록이 주 목적
- 단순히 재료(Data) 제공 목적으로 기반이 되는 역할이지 특정 작업을 하기에 적합하지 않다
- 크게 SQL, NoSQL로 구분할 수 있다
DBMS
- Database Management System
- DB 관리 시스템
구분
- SQL : Oracle, MySQL, IBM DB2, MS SQL 등
- NoSQL : MongoDB, Cassandra, Redis 등
DW
- Data Warehouse
- 조직 내 서로 다양한 소스들의 정보를 집계하고 저장하는 시스템
- 사용자의 의사결정을 위해 다양한 시스템에서 데이터 ETL작업을 거치며 DB의 집합체라 볼 수 있다
- 다양한 데이터 소스에서 빌드된 정보 시스템으로서 데이터 분석에 사용
- 여러 종류의 DB(다양한 Data들) 통합해 분석을 가능하게 해 의사결정에 큰 역할
- DB의 취약점 개선 목적으로 탄생
- DB는 작은 규모의 데이터를 CRUD 하기 위한 설계, 큰 규모의 Data 조회 시 부하 발생, 부하 발생하는 동안 DB 사용불가한 문제 존재
- DW는 DB로부터 큰 규모의 데이터 CRUD를 위해 만들어짐
ETL
- 여러 종류의 DB의 Data들을 목적의 맞는 하나의 형식으로 사용가능하게끔 가공하는 과정
- DB에서 데이터를 조회해 원하는 형태로 알고리즘 처리 후 새로운 형태로 저장하는 것과 같이 기존의 데이터를 새로운 목적에 맞게끔 변환하는 과정을 의미
BI
- Business Intelligence
- DW 설계 솔류션
- DW에 효율적으로 Data 적재 목적
DL
- Data Lake
- 정형, 반정형 및 비정형 데이터를 비롯해 모든 가공되지 않은 다양한 종류의 데이터들을 한 곳에 모아둔 중앙 레포지토리
- 효율적인 분석을 위해 사용하고자 하는 다양한 raw data들을 한 곳에 모아 관리 목적
정형, 반정형, 비정형
- 정형 : Rule(데이터 형식)이 존재, RDB
- 비정형 : 텍스트, 음성, 영상, 보고서, 메일 등 데이터 형식이 정해져있지 않다
- 반정형 : XML, HTML 등, DB는 아닌데 스키마 갖춘 경우로 데이터의 형식이 존재하되 형식의 변화 가능
- 사실 정형인지 비정형인지 확실히 구분하지 못하는 경우라 할 수 있다
- ex) json format
DM
- 특정 팀, 사업 단위의 목적에 적합하게 스페셜한 분야에 초접을 맞춘 단순한 형태의 DW
- ex) 금융, 마케팅, 영업 등
- ex) 금융, 마케팅, 영업 등
Data Flow
- 단계별로 색상으로 구분
- 처음 단계에서 정형, 비정형, 반정형 DB, 그 외 데이터의 경우 상황에 따라 다를 것이라 생각
OLAP
- 온라인 분석 처리
- 트랜잭션에 부담없이 복잡한 쿼리 지원
- 효과적인 데이터 활용을 위해 보다 여러 관점에서 정보화
- 다양한 관점에서 비즈니스 데이터 분석
- 데이터 범주 결합, 그룹화 => 전략 계획 실행 가능한 통찰력 제공
- 개인적인 생각으로 DM의 분석 효율을 늘리기 위한 SQL로 치면 TABLE JOIN처럼 DM내에 Data간의 상간관계 등을 파악하는 과정이라 생각
유의, Tool
Data Flow 과정에서 ETL 과정 이후부터 OLAP 과정 전까지 구간에 사용되는 Tool들이 Google Cloud, AWS, Azure 등이 있다
결과적으로 ETL 이전 원천 데이터들(Data Source 구간)에서 ETL 과정을 거치며 DW이 생성되고 특정 목적마다 DM를 만들어 사용하는데 이는 모두 위에 언급된 Tool들이 이용된다
