핵심 데이터 개념

데이터란?

• 정보를 기록하는데 사용되는 값 - 종종 하나 이상의 속성을 가진 엔터티

정형 데이터(구조적 데이터)

• 형식에 맞춰 저장함(DB, CSV...)

비정형 데이터(비구조적 데이터)

• 정해진 틀이 없이 다양한 형태로 존재(사진, 오디오...)

반구조적 데이터

• 형식이 갖춰져있지만 완전히 정형화 되어있지 않음(JSON,...)

데이터가 어떻게 저장되는가?

1. file

• 구분된 텍스트

JSON

{"cutomer":
	[
    {"first":name
}

XML :

<Customer firstName="Joe" />

BLOB : ex) 1010101111

2. Database

관계형 DB

• table 로 구성되어있고 table의 관계를 저장함
• data record를 저장하는 중간 system
  ex) oracle, mySQL ...

정규화: 엔터티를 나누고 관계를 맺어줌(중복을 제거하기 위해)

비관계형 DB

• key-value 로 구성되어있음

document

열 패밀리

그래프 DB

• node(원)과 edge(선)

---

트랜잭션 데이터 워크로드

• 데이터는 애플리케이션을 지원하는 OLTP(online transactional processing)
• 작업에 최적화된 데이터베이스에 저장됨
• 데이터는 트랜잭션을 사용하여 저장됨

  트랜잭션(transaction)
  최소 작업단위

트랜잭션 (ACID)

• 원자성(Atomicity) : 완전히 성공하거나 완전히 실패하는 단일 작업단위로 처리
• 일관성(Consistency) : 어떤 상황에도 같은 상태로 받야아함
• 격리(Isolation) : 동시 트랜잭션은 서로 간섭할 수 없음
• 내구성(Durability) : 트랜잭션이 성공하면 데이터 변경사항이 DB에 유지됨

분석 데이터 워크로드

1. 데이터 파일을 분석을 위해 중앙 데이터 레이크에 저장 할 수 있음
2. ETL(추출, 변환, 로드) 프로세스가 파일 및 OLTP 데이터베이스에서 읽기 작업에 최적화된 데이터 웨어하우스로 데이터를 복사함
3. 데이터 웨어하우스의 데이터는 집계하여 OLAP(온라인 분석 처리) 모델에 로드할 수 있음
4. 데이터 레이크, 데이터 웨어하우스 및 분석 모델의 데이터를 쿼리하여 보고서 및 대시보드를 생성할 수 있음

데이터 레이크

• 데이터를 수집(복사)

데이터 웨어하우스

• 읽기 전용(정형/비정형 관계없이 다 들어감)

---

데이터 역할 및 서비스

데이터 전문가 역할

데이터베이스 관리자

• 데이터베이스 프로비저닝, 구성, 관리

• 데이터베이스 보안 및 사용자 액세스

• 데이터베이스 백업 및 복원력

• 데이터베이스 성능 모니터링 및 최적화

  데이터 엔지니어

• 데이터 통합 파이프라인 및 ETL 프로세스

• 데이터 정리 및 변환

• 분석 데이터 저장소 스키마 및 데이터 로드

  데이터 분석가

• 분석 모델링

• 데이터 보고 및 요약

• 데이터 시각화

  ---

데이터용 Microsoft 클라우드 서비스

데이터 저장소

Azure SQL

• on premise에 있는 인프라를 그대로 불러들어옴
• DBMS를 활용
• DB를 활용

오픈소스를 위한 Azure Database

• Maria DB
• MYSQL
• PostgreSQL

Azure Cosmos DB

• noSQL 데이터베이스

Azure Storage

• 파일, Blob, 테이블 스토리지
• 데이터 레이크 스토리지를 위한 계층 구조 네임스페이스

데이터 엔지니어링 및 분석

Azure Data Factory

• 데이터 파이프라인

Azure Synapse Analytics

• 통합된 엔드 투 엔드 분석

Azure Databricks

• Apache Spark 분석 및 데이터 처리

위 서비스에 대한 실습은 https://learn.microsoft.com/ko-kr/training/