💡 내가 생각하는 데이터 엔지니어
데이터 엔지니어 ❓
데이터 엔지니어는
한마디로 기업 내 데이터 기초 공사를 하는거라고 할 수 있다. 어떻게 데이터를 수집할 지, 어떤 방식으로 데이터를 쌓을지, 어떻게 관리할지를 고민하여 기업이나 회사 내 데이터 흐름을 생성한다.
공사를 잘 했어도 이후에 누수 등이 생길 수 있듯이 데이터를 수집하는 과정에서도 문제가 생길 수 있다. 이러한 관리까지도 데이터 엔지니어가 진행한다고 한다.
조직 내 다른 구성원이 우리가 가진 데이터를 잘 활용할 수 있게 하는 것이 데이터 엔지니어링 분야의 핵심라고 할 수 있다!
한마디로 정의 할 수는 없지만 대략적으로 한 줄로 정의하자면 데이터 엔지니어는 기본적으로 데이터의 수집 및 관리 즉 데이터 영역 을 전문으로 담당하는 소프트웨어 엔지니어라고 볼 수 있다.
구체적으로 나눠보면 산업별, 회사별로 데이터 엔지니어가 하는 업무와 사용 기술이 다르지만 공통적으로 하는 역할은 같다.
바로 사업에 필요한 데이터를 잘 분석할 수 있도록 데이터 시스템을 관리하는 것이다.
이것이 데이터 엔지니어링이며 해당 직무의 핵심 역할을 잘 설명할 수 있는 말이라고 생각한다.
💡 로드맵
출처 : https://github.com/datastacktv/data-engineer-roadmap
