ADsP 1과목 (1)

🎈 ADsP 데이터 분석 준전문가 책으로 공부하며 정리한 내용입니다 🎈

1. 데이터의 이해

✅ 데이터와 정보

• 데이터 특성

  구분	형태
  존재적 특성	객관적인 사실
  당위적 특성	추론, 예측, 전망, 추정을 위한 근거

• 데이터 유형

  구분	형태	특징
  정성적 데이터	언어, 문자 등	많은 비용소모, 비정형데이터, 주관적 내용
  정량적 데이터	수치, 도형 기호 등	적은 비용소모, 정형데이터, 객관적 내용

• 지식경영의 핵심 이슈

  구분	의미	특징	상호작용
  암묵지	개인에게 체화되어 있지만 겉으로 드러나지 않는 지식	사회적으로 중요하지만 다른사람에게 공유되기 어려움	공통화, 내면화
  형식지	메뉴얼처럼 형상화된 지식	전달과 공유가 용이함	표출화, 연결화

  공통화 : 암묵지 지식 노하우를 다른 사람에게 알려줌
  
  표출화 : 암묵지 지식 노하우를 책, 교본 형식으로 전환
  
  연결화 : 책, 교본에서 자신이 알고 있는 새로운 지식을 추가
  
  내면화 : 만들어진 책, 교본을 보고 다른 직원의 암묵적 지식을 습득함

• DIKW 정의

  구분	내용
  데이터(Data)	개별 데이터 자체로는 의미가 중요하지 않는 객관적인 사실
  정보(Information)	데이터가공, 처리와 연관관계 속에서 의미가 도출
  지식(Knowledge)	다양한 정보를 구조화하여 유의미한 정보를 분류하고 개인적인 경험을 결합시켜 고유의 지식으로 내재화
  지혜(Wisdom)	지식의 축적과 아이디어가 결합된 창의적인 산물

✅ 데이터베이스

• 데이터베이스의 일반적인 특징

  데이터 베이스 특징	내용
  통합된 데이터	동일한 내용의 데이터가 중복되지 않음
  저장된 데이터	컴퓨터가 접근할 수 있는 저장매체에 저장되는것을 의미
  공용 데이터	여러 사용자가 데이터를 공동으로 이용, 구조가 복잡
  변화되는 데이터	변화하면서도 항상 현재의 정확한 데이터를 유지해야함

• 기업내부 데이터베이스
  ✔ OLTP : 호스트 컴퓨터가 데베를 액세스하고, 바로 처리결과를 돌려보내는 형태. 데베의 데이터를 수시로 갱신하는 프로세싱을 의미
  ✔ OLAP : 정보위주의 분석처리를 의미. 데이터 조회 위주이며 다양한 관점에서 빠르게 다차원적인 데이터에 접근하여 의사 결정에 활용할 수 있는 정보를 얻을 수 있게 해주는 기술. OLTP에서 처리된 트랜잭션 데이터를 분석해 프로세싱
  ✔ CRM : '고객관계관리'. 기업이 고객과 관련된 자료를 통합해 고객 중심자원을 극대화, 이를 토대로 고객 특성에 맞게 마케팅 활동을 계획 지원 평가하는 과정
  ✔ SCM : '공급망관리'를 뜻함. 모든 공급망 단계를 최적화해 수요자가 원하는 제품을 원하는 시간과 장소에 제공
  

• 분야별 데이터베이스

  제조분야 DB	내용
  ERP	독립적으로 운영되던 각종 관리 시스템의 경영자원을 하나의 통합시스템으로 재구축 (최근 ERP->CRM)
  CRM	'고객관계관리', 고객중심 자원을 극대화, 이를 토대로 고객특성에 맞게 마케팅활동을 계획 지원 평가하는 과정
  BI	데이터를 분석해 기업의 의사결정에 활용하는 일련의 프로세스
  RTE	회사 전 부문의 정보를 하나로 통합하여 관리, 제품수명이 짧아지는 현실에 대응

  금융부문 DB	내용
  EAI	필요한 정보를 중앙집중적으러 통합, 관리, 사용할 수 있는 환경을 구현
  EDW	DW를 전사적으로 확장한 모델, 다양한 분석애플리케이션들을 위한 원천

  유통부문 DB	내용
  KMS	지식관리 시스템, 기업경영을 지식이라는 관점에서 새롭게 조명
  RFID	주파수를 이용해 ID식별하는 시스템

◻ 데이터 웨어하우스 : 사용자 의사결정에 도움을 주기 위해 다양한 운영 시스템에서 추출, 변환, 통합되고 요약된 데이터베이스

• 사회기반 구조의 데이터베이스
  ✔ EDI : 각종서류를 표준화된 양식으 통해 거래처에 전송하는 시스템
  ✔ VAN : 독자적인 네트워크 생성, 각종 정보를 부호 영상 음성 등으로 교환하거나 정보를 축적하려 전송하는 부가가치가 높은 서비스

2. 데이터의 가치와 미래

✅ 빅데이터의 이해

• 3V : 양(Volume) + 다양성(Variety) + 속도(Velocity)

• 4V : 3V + 가치(Value), 시각화(Visualization), 정확성(Veracity)

• 빅데이터의 과거에서 현재로의 변화
  ✔ 사전처리 → 사후처리
  ✔ 표본조사 → 전수조사
  ✔ 인과관계 → 상관관계
  ✔ 질 → 양
  

✅ 비즈니스 모델

• 빅데이터를 활용한 기본 테크닉

  테크닉	내용	예시
  연관규칙학습	변인들 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법	커피를 구매하는 사람이 탄산음료를 더 많이 사는가?
  유형분석	문서를 분류하거나 조직을 그룹으로 나눌 때, 또는 온라인 수강생들을 특성에 따라 분류할 때 사용	이 사용자는 어떤 특성을 가진 집단에 속하는가?
  유전자 알고리즘	최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법	최대 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송?
  기계학습	훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법	기존의 시청기록을 바탕으로 시청자가 현재 보유한 영화 중에서 어떤 것을 가장 보고싶어 할까?
  회귀분석	독립변수를 조작함에 따라, 종속변수가 어떻게 변하는지를 보면서 두 변인의 관계를 파악할때 사용	구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?
  감정분석	특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석	새로운 환불 정책에 대한 고객의 평가는 어떤가?
  소셜네트워크분석	특정인과 다른 사람이 몇 촌 정도의 관계인가 파악할때, 영향력있는 사람을 찾아낼때 사용	고객들 간 관계망은 어떻게 구성?

✅ 위기 요인과 통제 방안

• 빅데이터 시대의 위기 요인 및 통제방안
  ✔ 사생활 침해 → 동의에서 책임으로

  • 개인정보 제공 동의를 하는 비효율적인 단계를 줄이고자 사용자의 '책임'으로 해결하는 방안 제시

  ✔ 책임 원칙 훼손 → 결과 기반 책임 원칙 고수

  • 책임원칙 훼손 위기 요인에 대한 통제 방안으로 기존의 원칙을 좀 더 보강하고 강화, 예측 자료에 의한 불이익을 당할 가능성을 최소화하는 장치마련 필요

  ✔ 데이터 오용 → 알고리즘 접근 허용

  • 알고리즘에 대한 접근권을 제공하여 예측 알고리즘의 부당함을 반증할 수 있는 방법을 명시해 공개할 것을 주문

✅ 미래의 빅데이터

• 빅데이터 활용의 3요소 : 데이터, 기술, 인력