데이터 분석가, 데이터 사이언티스트, 데이터 엔지니어
데이터와 관련된 커리어를 알아보면 위의 세 가지가 주로 나온다.
명칭도 비슷하고 하는 업무도 비슷해 보이는 Data Analyst, Data Scientist 그리고 Data Engineer.
저들의 차이점은 무엇일까?
데이터 분석의 과정
셋의 차이점을 알아보기에 앞서 우리는 데이터의 분석과정에 대해 알아볼 필요가 있다.
데이터의 분석 과정은
정형 데이터로 정제 -> 데이터의 이해 -> 데이터의 분석 -> 비주얼라이즈 -> 스토리텔링
위의 다섯 가지 과정으로 정리할 수 있다.
간단해 보이지만 일련의 과정을 홀로 진행하는 것이 아닌 데이터 분석가와 데이터 사이언티스트, 그리고 데이터 엔지니어가 아래와 같이 각자가 특화된 분야에서 업무를 분할하여 담당한다.
1. 정형 데이터로 정제
(데이터 엔지니어)
- 데이터는 쌓일 때 분석하기 좋은 깔끔한 형태인 정형 데이터로만 쌓이는 것이 아니라 쉽게 분석할 수 없는 데이터 포맷, 즉 비정형 데이터로 쌓이게 되는 경우가 많다.
이렇게 쌓인 비정형 데이터를 엔지니어가 정형 데이터로 정제하여 분석하기 좋은 상태로 다듬게 된다.
2. 데이터의 이해
(데이터 분석가 / 데이터 사이언티스트)
- 데이터 분석가와 데이터 사이언티스트는 앞선 과정에서 엔지니어가 정제해준 데이터에 대한 이해, 예를 들면 데이터 테이블이 있는 Row가 무엇인지, Column이 무엇인지, 데이터 인프라가 무엇인지 등에 대한 이해를 마쳐야한다.
다음 단계에서 이루어질 데이터 분석을 효율적, 그리고 완성도 있게 진행하기 위함이다.
3. 데이터의 분석
(데이터 분석가 / 데이터 사이언티스트)
- 데이터 분석가와 데이터 사이언티스트가 SQL, R과 Python을 통해 데이터 분석을 진행하게 된다.
4. 비주얼라이즈
(데이터 분석가 / 데이터 사이언티스트)
- 분석을 통해 도출해낸 인사이트를 데이터 분석가와 데이터 사이언티스트가 시각화하게 된다. 구글 시트와 엑셀로 진행을 하게 되지만 상황에 따라서 대시보드를 통해 진행하게 된다. 그 이유는 인사이트를 받게 될 담당자가 직접 여러 필터를 바꿔 적용해가며 데이터를 확인해 볼 수 있기 때문이다.
5. 스토리텔링
(데이터 분석가 / 데이터 사이언티스트)
- 데이터 분석가와 데이터 사이언티스트가 PPT 같은 시각 자료를 통해 분석 결과를 설명하여 담당자가 납득할 수 있도록 설득하게 된다.
DA, DS 그리고 DE의 차이점
분석의 과정을 통해 알아본 차이점을 간단하게 정리해보자.
데이터 엔지니어
- 주로 데이터의 정제 과정을 맡는다.
데이터 분석에 앞서 데이터를 다듬고 분류하며 데이터 파이프라인, 즉 흐름도를 짜는 데이터 아키텍처
- 주로 데이터의 정제 과정을 맡는다.
데이터 분석가
- 주로 데이터의 이해, 분석, 비주얼라이즈 그리고 스토리텔링의 과정을 맡는다.
발견한 문제에 대한 원인을 분석하고 시각화, 스토리텔링 하여 분석 결과를 설득하는 일을 하며 주로 과거와 현재 위주로 분석을 진행하게 되고 데이터에 대한 이해를 바탕으로 정확한 의사결정을 돕게 된다.
- 주로 데이터의 이해, 분석, 비주얼라이즈 그리고 스토리텔링의 과정을 맡는다.
데이터 사이언티스트
- 주로 데이터의 이해, 분석, 비주얼라이즈 그리고 스토리텔링의 과정을 맡는다.
머신러닝을 통해 고급 통계분석을 진행하며 각각의 상황에 맞는 모델링을 진행한다. 주로 미래 예측에 중점을 두고 진행하게 되며 분석 모델을 수정하고 새로운 알고리즘을 적용하게 된다.
- 주로 데이터의 이해, 분석, 비주얼라이즈 그리고 스토리텔링의 과정을 맡는다.
모호한 경계
글을 읽는 것 만으로는 세 직종의 차이점이 모호하다고 느껴질 수 있을 것이다.
그것은 현업에서 또한 마찬가지라고 생각한다.
소수의 인력으로 시작하게 되는 스타트업 등에서는 데이터 분석가가 엔지니어의 역할을 병행할 수도, 혹은 반대로 데이터 엔지니어가 분석가의 역할 역시 수행하게 될 수도 있다.
하지만 이 세 개의 직종은 서로의 상/하위 직군이 아닌 동등한 위치에서 서로 협업하는 관계이며 각자의 역할, 그리고 각자 특화된 부분이 존재한다는 것은 분명하다고 생각한다.
또한 그렇게 하는 것이 분명 더 효율적이기도 하다.
어느 정도까지는 스스로 영역을 확장하여 능동적으로 역할을 넘나드는 것도 좋다고 생각한다. 각 직종에 대한 지식을 어느 정도 쌓게 된다면 협업에 있어서, 그리고 커리어를 쌓는 데에도 도움이 될 것은 분명하다.
하지만 커리어 전환이 목표가 아니라면, 그 정도가 지나쳐서는 안 된다고 생각한다.
데이터 분석은 팀스포츠
선수 한 명이 골키퍼, 수비수, 공격수를 전부 맡을 필요는 없다.
서로가 서로의 역할을 충분히 수행해 낼 때 비로소 만족할만한 경기 결과가 나오는 것이다.
그렇기에 서로의 역할과 차이점을 정확히, 그리고 분명히 이해하고 짚고 넘어갈 필요가 있다고 생각한다.
