📌 1장. 데이터 분석 기획의 이해

1.분석 기획과 분석 방법론

1) 분석 기획

• 분석 기획의 정의와 특징

  • 정의

    • 실제 분석을 수행하기 전 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 관리하는 방안을 사전에 계획하는 작업을 의미한다.

  • 분석 대상과 그 방법에 따른 4가지 분석 주제

    

  • 목표 시점별 분석 기획

    

• 분석 기획시 고려사항

  • 가용 데이터 고려
    • 분석의 기본이 되는 데이터가 확보될 수 있는지에 대한 고려가 필요하다.
  • 적절한 활용 방안과 유스케이스의 탐색
    • 기존에 잘 구현되어 활용되고 있는 유사 시나리오 및 솔루션을 최대한 활용하는 것이 중요하다.
  • 장애요소에 대한 사전 계획 수립
    • 분석을 수행할 때 발생가능한 장애요소에 대한 사전 계획 수립이 필요하다.

---

2) 분석 방법론 개요

• 분석 방법론
  • 정의: 주어진 과제를 해결하기 위해 조직이 어떠한 절차로 작업을 수행해 나갈 것인지 일련의 절차를 정의한 것이다.
  • 필요성
    • 데이터 분석을 효과적으로 기업 내에 정착하기 위해서는 이를 체계 화한 절차와 방법이 정리된 데이터 분석 방법론 수립은 필수적이다.
  • 구성요소
    • 상세한 절차: 작업을 수행하기 위한 절차
    • 방법: 해당 절차를 수행하기 위한 방법
    • 도구와 기법: 작업을 수행하는데 필요한 것
    • 템플릿과 산출물: 어떤 작업을 수행하기 위해 문서를 작성할 때 참고할 수 있는 일종의 양식, 문서 또는 프로그램
  • 생성과정

    

• 분석 방법론이 적용되는 업무 특성에 따른 모델
  • 폭포수 모델
    • 단계를 거쳐 순차적으로 진행하는 방법
    • 현재 단계가 완료되어야 다음 단계로 진행될 수 있는 하향식 방향으로 진행된다.
    • 문제나 개선사항이 발견될 경우 이전 단계로 돌아가 피드백 과정을 수행할 수도 있다.
  • 프로토타입 모델
    • 일부분을 먼저 개발하고, 그 이후 사용자의 요구를 분석, 정당성 점검, 성능을 평가하는 등의 과정을 통한 개선 작업을 시행하면서 점진적으로 시스템을 개발해 나가는 접근 방식이다.
  • 나선형 모델
    • 반복을 통해 점중적으로 개발하는 측면에서 프로토타입 모델과 유사하지만 사용자의 요구에 초점을 맞추기보다 위험요소를 사전에 제거한다는 것에 초점을 맞춘다는 차이가 있다.
  • 계층적 프로세스 모델
    • 일반적으로 많이 사용한다
    • 최상의 계층인 몇 개의 단계로 구성되어 있고 하나의 단계는 여러 개의 태스크로 구성되고 하나의 태스크는 여러 개의 스텝으로 구성되어 있다.
  • 계층적 프로세스 요소

    

3) 전통적인 분석 방법론

• KDD 분석 방법론

  • 정의
    • Knowledge Discovery in Database
    • 데이터 마이닝, 기계학습, 인공지능, 패턴인식, 시각화 등에서 응용가능한 구조를 갖고 있다.
  • 프로세스

    

• cRISP-DM 분석 방법론

  • 정의
    • Cross Industry Standard Process for Data Mining
    • 4가지 레벨: 단계, 일반화 태스크, 세분화 태스크, 프로세스 실행
    • 6가지 단계: 업무이해, 데이터 이해, 데이터 준비, 모델링, 평가, 전개
  • 프로세스

    

4) 빅데이터 분석 방법론 개요

• 단게
  • 분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개
• 레벨
  • 단계, 태스크, 스텝

---

2. 분석 과제 발굴

1) 분석 과제 발굴 개요

• 분석 과제 발굴
  • 개념: 해결해야 할 다양한 기업의 문제를 '데이터 분석 문제'로 변환하는 것을 포함하는 의미이다.
• 분석 과제 탐색방법
  • 하향식 접근법
    • 문제가 주어졌을 때 우리가 해결해야 할 과제가 무엇인지를 찾는 전통적인 'Top-Down' 수행 방법이다.
  • 상향식 접근법
    • 다양한 데이터의 조합 속에서 인사이트를 찾아내는 'Bottom-Up'방식이다.
• 분석 과제 발굴 방법론 개념도

  

2) 하향식 접근법

• 1단계 - 문제 탐색 단계

  • 문제발굴
    • 업무(Operation), 제품(Product), 고객(Customers) 단위로 문제 발굴
    • 규제와감사(Audit & Regulation), 지원 인프라(IT & Human Resource)
    • 지원 인프라 - 분석을 수행하는 시스템영역(IT), 운영하고 관리하는 인력(Human Resource)
  • 분석 기회 발굴 범위의 확장

    

  • 외부 참조 모델 기반 문제 탐색
    • 유사 동종업계에서 기존에 수행한 문제 탐색 및 분석 과제 등을 활용하는 것이다.
    • 가장 빠르고 쉬운 방식(Quick & Easy)으로 분석 기회가 무엇인지 아이디어를 얻는 브레인스토밍을 활용한 방법이다.
  • 분석 유스케이스 정의
    • 분석을 적용했을때 업무흐름을 개념적으로 설명한것으로 프로세스 혁신 수단으로 활용되기도 한다.

• 2단계 - 문제 정의 단계

  • 문제 정의
    • 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계이다.
    • 탐색한 문제를 해결하는데 필요한 데이터 및 기법을 정의하기 위한 데이터 분석의 문제로 변환을 수행한다.
    • 최종 사용자의 관점에서 이루어져야 한다.

• 3단계 - 해결방안 탐색 단계

  • 해결방안 탐색
    • 정의된 데이터 분석 문제를 해결하기 위한 방안을 모색하는 단계이다.
  • 해결방안 탐색 단계 프로세스

    

• 4단계 - 타당성 검토 단계

  • 타당성 검토
    • 해결 방안이 타당한 것인지 검토해야 한다.
  • 타당성 검토의 유형
    • 경제적 타당성: 분석을 위한 지출항목
      • 데이터, 시스템,인력, 유지보수 등
      • 추정되는 실질적 비용 절감, 추가 매출, 수익 등
    • 데이터 및 기술적 타당성: 분석의 수행 가능여부, 데이터 존재여부, 분석 시스템 환경, 분석 역량

3) 상향식 접근법

• 개념

  • 분석 대상이 무엇인지 모를 경우 분석 과제 발굴을 위해 사용하는 방법이다
  • 원천 데이터로부터 통찰과 지식을 얻는 접근 방법이다.

• 지도학습과 비지도학습

  • 지도학습
    • 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것이다.
    • 예) 머신러닝, 의사결정트리, 인공신경망 모형, 분류 분석
  • 비지도학습
    • 정답을 알려주지 않고 학습하는 것이다.
    • 데이터 자체의 결합, 연관성, 유사성, 등을 중심으로 데이터의 상태를 표현하는 것이다.
    • 예) 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분분석, 다차원척도

• 시행착오를 통한 문제해결(프로토타이핑 접근법)

  • 개념
    • 먼저 분석을 시도하고 그 결과를 확인하면서 조금씩 개선해나가는 방법이다.
  • 프로세스
    • 가설의 생성 -> 디자인에 대한 실험 -> 실제 환경에서의 테스트 -> 테스트 결과로부터 인사이트 도출 및 가설 확인
  • 프로토타이핑 접근법이 필요한 경우
    • 문제에 대한 인식 수준이 낮거나 불명확할 경우
    • 필요 데이터의 존재 여부가 불확실할 경우
    • 데이터의 사용목적이 고정되지 않고 변화할 경우

3. 분석 프로젝트 관리 방안

• 분석 프로젝트 관리 개요

  • 분석 프로젝트의 특성
    • 분석의 정확도를 높이는 것뿐만 아니라 원하는 결과를 사용자가 원할하게 활용할 수 있도록 고려해야한다.
    • 데이터의 영역과 비즈니스 영역의 중간에서 조율을 수행하는 조정자의 역할을 수행해야한다.
  • 5가지 주요 속성을 고려한 관리
    - 데이터의 양
    - 데이터 복잡도: 정형데이터, 비정형데이터
    - 분석의 속도
    - 분석 복잡도: 모델의 정확도가 높으면서 해석이 편리한 최적의 모델을 탐색
    - 정확도 & 정밀도

    

• 분석 과제 관리 방안

  • 프로젝트 관리 지침의 관리 체계
    • 통합, 이해관계자, 범위, 자원, 시간, 원가, 리스크, 품질, 조달, 의사소통

---

📌 2장. 분석 마스터 플랜

1. 마스터플랜 수립

1) 마스터플랜 수립

• 분석 마스터플랜의 개념
  • 어떤 하나의 분석 프로젝트를 위한 전체 설계도
  • 마스터플랜 수립단계
    • 분석 과제의 우선순위를 결정
    • 기업의 상황을 고려하여 분석 과제의 적용 범위 및 방식의 결
    • 분석 구현 로드맵을 수립
• 분석 마스터플랜 수립 프레임워크

  

2) 수행 과제 두출 및 우선순위 평가

• 일반적인 IT 프로젝트 우선순위 평가

  

• 빅데이터의 특징을 고려한 분석 ROI 요소와 평가기준

  

• 포트폴리오 사분면 분석을 활용한 우선순위 평가 기준

  

3) 이행 계획 수립

• 로드맵 수립

  

2. 분석 거버넌스 체계 수립

1) 거버넌스 체계 개요

• 분석 거버넌스 체계 개요
  • 거버넌스(Governance)
    • 기업에서 의사결정을 위한 데이터의 분석과 활용을 위한 체계적인 관리를 의미한다.
• 분석 거버넌스 체계 구성요소
  • 조직(Organization): 분석 기획 및 관리를 수행
  • 과제 기획 및 운영 프로세스(Process)
  • 분석 관련 시스템(System)
  • 데이터(Data)
  • 분석 관련 교육 및 마인드 육성 체계(Human Resource)

2) 데이터 분석 성숙도 모델 및 수준 진단

• 분석 준비도
  • 기업의 데이터 분석 도입의 수준을 파악하기 위한 진단 방법이다.
• 분석 준비도 평가

  

• 분석 성숙도
  • CMMI(Capability Maturity Model Integration) 모델을 활용하여 조직의 성숙도를 평가한다.

    

• 분석 수준 진단 결과

  

3) 데이터 거버넌스 체계 수립

• 데이터 거버넌스
  • 개요
    • 전사 차원의 모든 데이터에 대해 정책 및 지침, 표준화, 운영 조직 및 책임 등의 표준화된 관리 체계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축하는 것을 말한다.
  • 구성요소
    • 원칙(Principle): 데이터를 유지 관리하기위한 지침과 가이드
    • 조직(Organization): 데이터를 관리할 조직의 역활과 책임
    • 프로세스(Process): 데이터 관리를 위한 활동과 체계
• 데이터 거버넌스 체계
  • 데이터 표준화
    • 데이터 표준 용어 설정
    • 명명 규칙 수립
    • 메타데이터 구축
    • 데이터 사전 구축
  • 데이터 관리 체계
    • 데이터 정확성 및 활용의 효율성을 위하여 표준 데이터를 포함한 메타데이터와 데이터 사전의 관리 원칙을 수립한다.
  • 데이터 저장소 관리
    • Repository
    • 메타데이터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소를 구성한다.
  • 표준화 활동
    • 데이터 거버넌스 체계를 구축한 후 표준 준수 여부를 주기적으로 점검하고 모니터링을 실시한다.
    • 지속적인 데이터 표준화 개선활동을 통해 실용성을 높여야 한다.

4) 데이터 조직 및 인력방안 수립

• 데이터 분석 조직 및 인력방안 개요
  • 데이터 분석 조직
    • 목표
    • 역할
    • 구성
  • 조직 및 인력 구성 시 고려사항
    • 조직구조
    • 인력 구성
• 데이터 분석 조직 유형
  • 집중형 조직 구조 : 조직 내에 별도의 독립적인 분석 전담 조직을 구성하고, 회사의 모든 분석 업무를 담당한다.
  • 기능 중심의 조직 구조 : 일반적으로 분석을 수행하는 형태이며, 별도로 분석 조직을 구성하지 않고 각 해당 업무 부서에서 직접 분석하는 형태이다.
  • 분산형 조직 구조: 전사 차원에서 분석 과제의 우선순위를 선정해 수행이 가능하며, 분석 결과를 신속하게 실무에 적용할 수 있다는 장점이 있다.