🌊 Delta Lake 입문자를 위한 가이드 - 이론편

• Delta Lake 이론 - 🌊 Delta Lake 입문자를 위한 가이드 - 이론편
• Delta Lake 실전 Part 1 - 🌊 Delta Lake 입문자를 위한 가이드 - 실전편(Part 1. 로컬 환경)
• Delta Lake 실전 Part 2 - 🌊 Delta Lake 입문자를 위한 가이드 - 실전편(Part 2. delta-spark 라이브러리 활용)

---

0. Delta Lake란 무엇인가?

Delta Lake는 data lakehouse 아키텍처를 구축할 수 있는 오픈 소스 스토리지 레이어로, 기존의 데이터 레이크(Lake)에 트랜잭션 기능과 데이터 무결성 보장을 추가하여 데이터 웨어하우스 수준의 신뢰성과 성능을 제공하는 기술입니다.

주로 데이터 엔지니어링, 데이터 분석, 데이터 파이프라인 등 데이터를 다루기 위한 다양한 에서 활용되며, 데이터의 변경 이력을 관리하는 기능까지 제공합니다.

1. Delta Lake가 등장한 배경

1) 클라우드 객체 저장소의 부상

과거에는 HDFS 기반의 물리적인 서버 자원을 활용한 데이터 레이크가 널리 사용되었지만, 최근에는 Amazon S3, Google Cloud Storage와 같은 클라우드 오브젝트 스토리지가 대체하고 있습니다. 이들의 장점은 다음과 같습니다.

✅ 사실상 무제한의 확장성
✅ 사용한 만큼만 비용 지불
✅ 높은 내구성 및 안정성 보장

데이터 처리시 사용되는 Apache Spark, Presto, Trino, Pandas, DuckDB 등의 도구들 역시 클라우드 객체 저장소와의 연동을 지원해주고 있으며, 클라우드 객체 저장소를 기반으로 데이터를 읽고 저장하는 과정이 표준으로 자리잡고 있습니다.

2) 기존 데이터 레이크의 한계

전통적인 데이터 레이크(Hadoop HDFS, AWS S3, Azure Data Lake 등)는 대량의 데이터를 저장하기에는 적합하지만, 파일 기반이기 때문에 데이터 웨어하우스 수준의 쿼리나 분석 기능을 제공하는데는 한계가 있었습니다. 주요한 문제점들은 아래와 같습니다.

1️⃣ 데이터 정합성 부족

• 데이터가 여러 파일로 분산 저장되기 때문에, 중간에 작업이 실패하면 데이터가 불완전하게 저장될 가능성이 존재합니다.
• 예를 들어, 한 테이블에 100개의 파일이 저장되어 있고, 새로운 데이터를 추가하는 도중 작업이 중단되거나 실패하게 된다면 데이터의 일부만 기록되어 데이터 정합성이 깨질 수 있는 것이죠.

2️⃣ ACID 트랜잭션 미지원

• 파일 형태로 관리되는 데이터레이크는 데이터베이스처럼 원자성(Atomicity), 일관성(Consistency), 격리성(Isolation), 지속성(Durability)을 보장하지 않습니다.
• 따라서 여러 사용자가 동시에 데이터를 수정하거나 추가할 경우, 예측할 수 없는 충돌이나 데이터 손실이 발생할 가능성이 높습니다.

3️⃣ Schema Evolution(스키마 변경) 문제

• 기존에 저장되어 있던 데이터의 스키마(컬럼, 데이터 타입 등)를 변경하려면 전체 데이터를 새롭게 덮어쓰는 등 큰 작업을 요하는 경우가 많습니다.

4️⃣ 데이터 버전 관리 부재

• 동일한 저장 경로에 데이터가 추가되거나 삭제될 경우, 기존 데이터와의 변경 사항을 쉽게 추적할 수 없습니다.
• 이전의 데이터로 되돌아가는 롤백 기능이 없어 작업중 데이터를 삭제하거나 덮어썼다면 다시 복구하기가 어렵습니다.

이러한 문제들을 해결하기 위해 Databricks는 Delta Lake를 개발하였고, 이를 2017년에 고객에게 제공한 후 2019년 오픈소스로 공개했습니다.

2. Delta Lake의 핵심 설계 원리

Delta Lake의 핵심 원리는 객체 저장소에 파일 기반으로 저장되어 있는 데이터들에 대하여 ACID 트랜잭션을 보장하는 것입니다.
Delta Lake는 Apache Parquet을 기반으로 동작하며, Delta Log라는 추가적인 메타데이터 로그 파일을 사용하여 ACID 트랜잭션과 데이터 버전 관리를 수행합니다.

1️⃣ Raw Data → 원본 데이터 파일 (Parquet)
2️⃣ Delta Log → 모든 변경 사항이 기록되는 로그 파일

✅ ACID 트랜잭션 보장

• Delta Lake는 Parquet 파일을 기반으로 데이터를 저장하면서도 데이터와 같이 관리되는 delta_log 메타데이터 로그를 통해 ACID 트랜잭션을 지원합니다.
• 따라서 아래와 같은 기능 구현이 가능해졌습니다.
  • 여러 데이터를 동시에 업데이트 가능.
  • 이전 데이터로의 자유로운 롤백 가능.
  • 데이터 일관성을 유지하면서도 높은 성능 제공.

이렇게 Delta Log를 활용하면 데이터가 언제, 어떻게 변경되었는지 추적할 수 있고, 트랜잭션 충돌을 방지할 수도 있습니다.

3. Delta Lake의 핵심 기능

1️⃣ ACID 트랜잭션 지원

• Delta Lake는 ACID 트랜잭션을 보장하여 데이터 정합성을 유지합니다. 즉, 여러 사용자가 동시에 데이터를 수정하거나 삽입해도 데이터가 일관되게 유지됩니다.

2️⃣ 데이터 버전 관리 (Time Travel)

• Delta Lake는 모든 데이터 변경 사항을 버전 관리합니다. 따라서 파일 기반으로 저장되어 있지만 특정 시점의 데이터로 롤백이 가능합니다.
• 실수로 데이터를 삭제하거나 덮어 쓰더라도 과거 버전으로 복구가 가능한 것이죠. 예를 들어, "어제의 데이터 상태로 돌아가고 싶다!"라고 할 때, 별도의 백업 없이도 특정 버전을 선택하여 데이터 조회가 가능합니다.

3️⃣ 스키마 관리 (Schema Management)

• Schema Enforcement(스키마 강제 적용)
  • 기존 데이터와 맞지 않는 스키마가 들어오는 경우 오류를 발생시켜 데이터 무결성을 유지합니다.
• Schema Evolution(스키마 변경 지원)
  • 기존 테이블의 컬럼을 추가/삭제하는 등의 스키마 변경 작업을 쉽게 적용할 수 있습니다.

4️⃣ 데이터 파일 최적화 (File Compaction)

• 데이터 레이크에서는 작은 용량의 파일들이 디렉토리 내에 많이 생성될 경우 성능이 저하될 수 있습니다. Delta Lake는 자동으로 작은 파일들을 병합하여 데이터 저장을 최적화시킬 수 있습니다.
• 아래의 최적화 메소드를 활용하여 대규모 데이터를 다룰 때 성능 문제를 줄일 수 있습니다.
  • OPTIMIZE : 작은 파일을 합쳐서 성능을 개선
  • Z-Ordering : 여러 개의 컬럼을 기준으로 데이터를 정렬하여 쿼리 성능 향상

5️⃣ 데이터 정리 및 삭제 (Data Vacuuming)

• 저장된 데이터에 Retention Policy를 설정하면 일정 기간이 지난 불필요한 데이터를 자동으로 삭제할 수 있습니다.
• Delta Lake에서 데이터 파일을 삭제하게되면 정합성 문제가 발생할 수 있으므로 특정 시점 이전의 데이터를 삭제해야 할 경우에는 반드시 VACUUM 기능을 활용하여 파일을 삭제합니다.

6️⃣ 캐싱 (Caching)

• Delta Lake는 클러스터 내에서 데이터 및 메타데이터 캐싱을 제공하여 성능을 더욱 향상시킵니다.

7️⃣ 감사 로그 (Audit Logging)

• 모든 데이터 변경 내역을 기록하여 누가 언제 어떤 데이터를 수정했는지 추적 가능합니다.

8️⃣ 스트리밍 데이터 처리

• 배치 처리와 스트리밍 처리를 모두 지원합니다.
• Delta Lake 테이블을 스트리밍 원본 및 싱크(Sink)로 사용할 수 있습니다.

4. 기존의 데이터 아키텍처와의 비교

비교 항목	기존 데이터 레이크	기존 데이터 웨어하우스	Delta Lake
데이터 저장 방식	오브젝트 스토리지 (Parquet, CSV 등)	행/컬럼 기반 스토리지	오브젝트 스토리지 (Parquet + Delta Log)
트랜잭션 지원	❌ 미지원	✅ ACID 보장	✅ ACID 보장
데이터 버전 관리	❌ 불가능	⚠ 일부만 가능	✅ Time Travel 가능
성능 최적화	❌ 없음	✅ 지원	✅ 지원
스키마 변경	⚠ 어렵거나 불가능	✅ 지원	✅ 지원
활용 사례	데이터 저장소	데이터 분석, OLAP	데이터 저장소, 빅데이터 분석

5. OUTRO

Delta Lake, Hudi, Iceberg와 같은 Open Table Format이 나온지는 몇 년이 되었지만 저는 최근에서야 본격적으로 학습을 시작했습니다.
이전 회사에서도 데이터를 Parquet 형태로 관리했지만, 주로 업데이트된 테이블을 덮어쓰거나 새로운 디렉토리를 생성하는 방식으로 버전 관리를 했었죠.
그런 경험이 있어서인지, 파일 기반 저장 + AICD 트랜잭션 지원 + 롤백 이 모든 기능이 파일 기반으로 가능한 Open Table Format은 저에게는 혁신적인 개념으로 다가왔습니다. 가까운 미래까지는 이 기술이 데이터를 저장하고 관리하는데 있어 표준으로 자리매김 할 것이라는 생각이 들었습니다.
이번 글에서는 Delta Lake의 이론적 개념을 정리해 보았고, 다음 글에서는 직접 실습을 진행하며 실무에서 어떻게 활용할 수 있을지 살펴보겠습니다.

참고 자료

• https://www.qlik.com/us/data-lake/delta-lake
• https://medium.com/@ansam.yousry/understand-delta-lake-a-comprehensive-guide-a0b4beaeafe3
• https://blog.det.life/i-spent-5-hours-understanding-more-about-the-delta-lake-table-format-b8516c5091eb