1-1절 <데이터 분석 기획의 이해>
분석기획: 과제 정의 및 결과 도출을 위해 사전에 계획
데이터 사이언티스트의 역량: Math&Statistics, Information Technology, Domain Knowledge
목표 시점 별 분석 기획 방안
- 과제 중심적 접근(당면한 과제를 빠르게 해결)
- 장기적 마스터 플랜(지속적인 분석)
분석 기획시 고려사항
1. 가용 데이터 확보
2. 적절한 활용방안과 유즈케이스 탐색
3. 장애요소 대응
1-2절 <분석 방법론>
분석 방법론
절차 - 방법 - 도구와 기법 - 템플릿과 산출물
암묵지 -(형식화)-> 형식지 -(체계화)-> 방법론 -(내재화)-> 암묵지
암묵지: 학습과 경험으로 개인에게 내재된 지식
형식지: 문서나 메뉴얼처럼 형상화된 지식
KDD 분석 방법론
Knowledge Discovery in Databases
1. Selection(데이터셋 선택)
2. Preprocessing(데이터 전처리): 잡음, 이상치, 결측치 제거
3. Transformation(데이터 변환): 차원 축소, 학습/검증용 데이터 분리
4. Data Mining(데이터 마이닝): 적절한 데이터마이닝 기법 선택, 알고리즘 적용
5. Interpretation/Evaluation(결과 평가)
CRISP-DM 분석 방법론
Cross Industry Standard Process for Data Mining
1. 비즈니스 이해 (Business Understanding)
2. 데이터 이해 (Data Understanding)
3. 데이터 준비 (Data Preparation)
4. 모델링 (Modeling)
5. 평가 (Evaluation)
6. 배포 (Deployment)
빅데이터 분석 방법론
계층적 프로세스
- 단계Phase: 프로세스 그룹을 통해 완성된 단계별 산출물 생성
- 태스크Task: 단계를 구성하는 단위 활동
- 스텝Step: 입력 자료, 처리 및 도구, 출력 자료로 구성된 단위 프로세스
5단계
1. 분석기획 (Planning)
2. 데이터 준비 (Preparing)
3. 데이터 분석 (Analyzing)
4. 시스템 구현 (Developing)
5. 평가 및 전개 (Deploying)
1-3절 분석 과제 발굴
하향식(Top down) 접근 방법: Optimization -> Solution
문제가 주어진 상태에서 답을 구하는 전통적 방식
대규모 데이터 환경에서 문제 사전 정의에 어려움
-
문제 탐색: 문제를 해결함으로써 발생하는 가치에 중점
-
비즈니스 모델 기반 문제 탐색
업무/제품/고객/규제와 감사/지원 인프라 5가지 영역에 대해 과제 발굴 -
분석 기회 발굴의 범위 확장
- 거시적 관점: 사회/기술/경제/환경/정치 기반
- 경쟁자 확대 관점: 대체재/경쟁자/신규 진입자 파악
- 시장의 니즈 탐색 관점: 고객/채널/영향자
- 역량의 재해석 관점: 내부 역량/파트너와 네트워크 -
외부참조 모델기반 문제 탐색
유사/동종 사례 벤치마킹을 통한 분석기회 발굴
산업별, 업무 서비스별 분석 테마 후보 그룹에서 아이디어 획득 -
분석 유즈 케이스
풀어야 할 문제에 대한 상세 설명 및 해당 문제를 해결했을 때 발생하는 효과 명시
-
-
문제 정의: 비즈니스 문제를 데이터의 문제로 변환
ex) '고객 이탈 증대' -> '고객 이탈에 영향을 미치는 요인 식별 및 이탈 가능성 예측' -
해결방안 탐색
-
타당성 검토
- 경제적 타당성 (ex. 비용)
- 기술적 타당성 (ex. 데이터 존재, 분석 환경, 분석 역량)
상향식(Bottom up) 접근 방법: Discovery -> Insight
1-4절 분석 프로젝트 관리 방안
분석 과제 관리 5영역
Data Size
Data Complexity
Speed
Analytic Complexity
Accuracy&Precision
분석 프로젝트의 관리방안
범위: 프로젝트 범위 확인, 최종 결과물(분석 보고서 or 시스템) 확인
시간
원가
품질
통합: 프로젝트 관리 프로세스들이 통합적으로 운영되도록 관리
조달: 프로젝트 목적성에 맞는 외부 소싱 운영
자원
리스크
의사소통
이해관계자
2-1절 마스터 플랜 수립 프레임 워크
마스터플랜 = 기본계획, 통합계획
ISP(Information Strategy Planning): 정보전략계획, 정보기술을 활용하기 위해 내/외부 환경과 사용자의 요구사항을 분석하여 시스템 구축 우선순위를 결정
분석 마스터 플랜: ISP방법론 활용, 데이터 분석 과제를 도출 후 과제 우선순위 결정해서 계획 수립
빅데이터의 핵심 특징
투자비용요소(Volume, Variety, Velocity) + 비즈니스 효과 요소(Value)
2-2절 분석 거버넌스 체계 수립
분석 거버넌스 체계의 구성 5요소
Organization + Process + System + Data + Human Resource
데이터 분석 수준진단
데이터 분석의 도입 여부와 활용에 명확한 분석 수준을 점검할 필요가 있다.
-
분석 준비도
영역별로 세부 항목에 대한 수준파악- 분석업무 파악 - 인력 및 조직 - 분석기법 - 분석 데이터 - 분석 문화 - IT 인프라 -
분석 성숙도
CMMI 모델 사용
- 성숙도 수준 분류
도입 / 활용 / 확산 / 최적화 단계 - 진단 분류
비즈니스 / 조직.역량 / IT 부문
데이터 거버넌스의 구성 3요소
원칙(Principle) + 조직(Organization) + 프로세스(Process)
데이터 거버넌스 체계
- 데이터 표준화
- 데이터 관리 체계
- 데이터 저장소 관리
- 표준화 활동
분석 조직 구조
분석 과제관리 프로세스
1) 과제 발굴
1. 분석 Idea 발굴
2. 분석과제 후보제안
3. 분석과제 확정2) 과제 수행
4. 팀구성
5. 분석과제 실행
6. 분석과제 진행관리
7. 결과 공유/개선