데이터 엔지니어(Data Engineer, DE)란?

회사마다 데이터 관련 포지션에게 요구하는 상세 역할은 조금씩 차이가 있습니다. 데이터 엔지니어어는 데이터 분야에서 가장 인기 있는 역할 중 하나이지만, 데이터 엔지니어링과 데이터 엔지니어의 정의에 대한 많은 혼란이 있습니다. 이 글을 통해 일반적인 데이터 엔지니어링과 데이터 엔지니어가 하는 일에 대해 소개하고자 합니다.

데이터 엔지니어란?🤩

데이터 엔지니어는 데이터 엔지니어링 수명 주기를 관리합니다.

데이터 엔지니어는 대량의 데이터를 수집, 저장 및 처리하는 데 사용되는 데이터 파이프라인의 설계, 구축, 유지 관리 및 문제 해결을 담당합니다. 일반적으로 데이터 과학자 및 비즈니스 분석가와 긴밀히 협력하여 데이터 인프라가 데이터 분석 및 보고에 최적화되도록 합니다.

데이터 엔지니어의 주요 업무 및 책임은 다음과 같습니다.

• 데이터 웨어하우스, 데이터 레이크 및 NoSQL 데이터베이스와 같은 데이터 스토리지 솔루션 설계 및 구현
• 데이터 파이프라인 및 ETL(추출, 변환, 로드) 프로세스 개발 및 유지 관리
• 대규모 데이터 세트를 처리하고 정리하는 코드 작성
• 데이터 품질 검사 수행 및 데이터 문제 해결
• 성능 및 확장성을 위한 데이터 인프라 최적화
• 데이터 과학자 및 비즈니스 분석가와 협력하여 데이터 분석 및 보고 요구 사항을 지원합니다.

데이터 엔지니어링이란?🧐

데이터 엔지니어링은 소스 시스템에서 데이터를 가져오는 것으로 시작하여 분석 또는 기계 학습과 같은 사용 사례를 위한 데이터 제공으로 끝납니다.

데이터 엔지니어링에는 프로그래밍, 데이터 관리 및 문제 해결 기술이 결합되어 있으며 데이터 저장 및 처리 기술에 대한 깊은 이해와 데이터 보안 및 개인 정보 보호에 대한 모범 사례가 필요합니다.
데이터 엔지니어는 종종 데이터 과학자 및 비즈니스 분석가와 긴밀히 협력하여 데이터 인프라가 조직의 데이터 분석 및 리포트 요구 사항을 지원할 수 있는지 확인합니다.

데이터 엔지니어 로드맵💡

일반적으로 데이터 엔지니어에게 중요한 몇 가지 핵심 기술과 지식은 다음과 같습니다.

• Python, Java 또는 Scala와 같은 언어에 대한 경험을 포함한 강력한 프로그래밍 기술
• Apache Hadoop, Spark 및 NoSQL 데이터베이스와 같은 빅 데이터 기술에 대한 친숙함
• 데이터 모델링, 데이터 웨어하우징 및 ETL(추출, 변환, 로드) 프로세스에 대한 지식
• AWS(Amazon Web Services), GCP(Google Cloud Platform) 또는 Microsoft Azure와 같은 클라우드 기반 데이터 플랫폼 및 도구 사용 경험
• 데이터 보안 및 개인 정보 보호 모범 사례에 대한 이해
• 크고 복잡한 데이터 세트로 작업하고 데이터의 패턴과 추세를 식별하는 능력.

데이터 엔지니어가 되고 싶은 사람들이 참조하면 좋을 링크를 공유합니다. 여기에 나열된 수많은 도구와 프레임워크에 압도당하지 않고 방향성을 잡아가는데 도움이 되기를 바랍니다.

• https://www.mltut.com/how-to-become-a-data-engineer/
• https://github.com/datastacktv/data-engineer-roadmap
• https://learning.oreilly.com/library/view/fundamentals-of-data/9781098108298/