데이터 엔지니어의 핵심 목표
데이터 엔지니어의 업무를 위한 핵심 문장은 '데이터를 잘 가져오고, 잘 사용할 수 있게 정리한다' 입니다.
조금 더 전문적인 단어를 인용하면 '데이터 파이프라인 시스템 아키텍처를 구축한다'라고 표현할 수 있습니다.
그렇지만 이렇게 설명하면 막상 업무에 대해 이해햐기 쉽지 않습니다.
예시를 통해 데이터 엔지니어의 업무를 봅시다
한줄로 정의하자면
데이터 영역을 전문으로 담당하는 소프트웨어 엔지니어라고 볼 수 있습니다.
구체적으로는 산업별, 회사별로 데이터 엔지니어가 하는 업무와 사용 기술이 다르지만, 공통적으로 하는 역할은 같죠
바로 사업에 필요한 데이터를 잘 분석할 수 있도록 데이터 시스템을 관리하는 것입니다.
데이터 엔지니어가 필요한 이유
산업에는 frontend, backend 등 여러 직무가 있습니다.
이 중 backend engineer 역시도 데이터와 관련된 업무를 많이 하고 데이터베잇 관련 지식도 필수적입니다.
어떤 회사는 데이터 엔지니어의 역할까지 백엔드 엔지니어가 함께 수행하기도 하죠.
그렇다면 데이터 엔지니어라는 직무가 따로 필요한 이유는 뭘까요?
데이터 엔지니어라는 역할의 필요성이 커지게 된 이유는 '빅데이터'라는 키워드와 밀접한 관련이 있습니다.
데이터 엔지니어는 이러한 빅데이터 환경에서 데이터 인프라를 구축하고 관리하는 데에 특화된 직무이며, 이러한 역할이 담당하는 업무는 기존 데이터 환경과 많은 기술적 차이를 가집니다.
이것이 바로 데이터 엔지니어라는 직무가 필요한 이유이죠
데이터 엔지니어가 하는 일
데이터 엔지니어가 하는 업무 중 핵심은 다음과 같습니다.
-
데이터의 수집, 저장, 가공 (ETL 또는 ELT)
-
이 업무를 하나로 합쳐서 부르면 데이터 파이프라인을 구축 및 관리하는 것입니다.
데이터를 만들어내는 실제 서비스들에서 데이터를 수집하고,
수집한 데이터를 전처리한 후 저장에 필요한 형태로 가공한 뒤
안전한 목표 저장소에 저장하는 일련의 과정을 의미합니다. -
일반적으로 데이터를 모아서 처리하는 배치 처리와, 실시간으로 처리하는 스트리밍 처리가 있으며, 각각의 처리형태 혹은 파이프라인 단계마다 사용할 수 있는 기술스택이 매우 다양합니다.
따라서 서비스의 특성을 잘 고려하여 적절한 기술을 선택하는 것이 중요하며 이는 데이터 엔지니어에게 가장 중요한 역량 중 하나라 할 수 있습니다
-
-
분석 (+시각화)
-
데이터 엔지니어는 자신이 관리하는 데이터가 결국 어떻게 쓰이는지 알고, 필요한 데이터를 직접 분석할 수 있어야 합니다.
-
데이터가 정상적으로 쌓이고 있는지 확인할 때에도 이러한 작업이 필요합니다.
이러한 일회성 분석도 반드시 필요하지만 데이터 분석가 혹은 조직원들이 원할 때 지표를 바로 볼 수 있도록 분석 시스템을 만들 수도 있습니다.
이 경우에는 적절한 시각화 툴에 대한 이해도 필요하게되죠
-
이렇게 두가지로 크게 나누었지만 실제 업무에서는 사실 개발, 사업 등 조직을 가리지 않고 데이터를 활용하는 모든 직무와 끊임없이 소통해야하며 종종 백엔드 엔지니어의 역할까지 함께 수행하기도 합니다.
필요한 역량
- 데이터 파이프라인에 필요한 기술
- 프로그래밍 능력
- 데이터 분석 능력(쿼리)
- 시각화 기술
- 커뮤니케이션 능력(협업)
- domain에 대한 깊은 이해
데이터를 보다 잘 활용해 사업적인 가치를 만들어 낼 때 비로소 좋은 데이터 엔지니어가 된다고 생각하며, 이미 구축된 시스템이 더 좋은 성능을 낼 수 있도록, 혹은 효율을 높일 수 있도록 개선한다거나 하는 것이 이후 데이터 엔지니어로서의 역량을 평가할 수 있는 중요한 척도가 된다고 생각합니다.
따라서 데이터 엔지니어도 자신이 관리하는 데이터의 활용 주체의 니즈를 파악하기 위한 노력을 끊임없이 해야할 것입니다.
