설레었던 첫주 교육
12월 5일 판교로 첫 출근을 시작하였다. 첫 직장이다 보니 많이 긴장도 되었지만 운이 좋게도, 내가 배정받은 팀의 동기는 6명이나 되었었다.
첫주는 해당 팀에 대한 아이스 브레이킹 시간들을 가지며, 전반적인 비즈니스 스킬들과 기업의 문화들을 배우는 시간이었다.
해당 첫주동안 막연했던 직장생활에 두려움이 조금씩 사라졌고, 결국엔 여기도 사람들이 사는 공간이라는 것을 다시한번 느꼈다.
본격적인 팀 온보딩 교육 시작
첫주가 끝나고 내 자리에 가서 전반적인 pc세팅을 진행하였다.
데이터를 다루는 직종이기 때문에 DB권한 및 다양한 세팅을 진행해야했으며, 그와 동시에 팀에서 다루는 전반적인 비즈니스 로직에 대해 본격적으로 deep dive하기 시작했다.
2주차 - 데이터 엔지니어는 SQL을 아주 많이 다룬다.
2주차부터는 본격적으로 팀에서 교육들을 진행하였고, 팀원들에 대한 소개를 통해 서로를 알아가는 시간들을 가졌다.
또한 진행하는 일들을 전반적으로 설명을 들었으며 해당 작업들에 사용되는 언어나 툴 프레임워크에 익숙해지는 본격적인 교육이 시작되었다.
나는 대부분의 시간을 python, scala, R 등을 다뤄왔지만 SQL은 조금 등한시 해왔었다. 대부분 작업들을 데이터 프레임을 갖고 구성하였으며, SQL은 하기 쉬워서 그냥 생존형 SQL을 작성해왔었다.
하지만 실제 업무에서는 SQL을 더욱 많이 사용한다. 대부분의 데이터들이 몇번의 정제과정을 거쳐 DW에 담겨지고, 해당 FACT TABLE을 기반으로 많은 리포트 및 지표들이 매일매일 매시간마다 메일로 전송된다.
DW는 엄청난 양의 데이터가 저장이 되어있고, 대시보드를 구성할 때 해당 프로시져를 통해 데이터를 넘기기 때문에 인덱스를 타지 않는 쿼리나 이상한 쿼리를 짜게 되면 해당 데이터가 몇개 빠져서 불완전하거나 DW서버에서 많은 부하가 오게 된다.
나는 생존형 SQL 다루는 사람에서 탈피할 필요성을 느끼고 지속적으로 DB공부를 진행하고 있다.
(2주차에 눈이 광장히 많이 왔었다.)
3~4주차 - 다양한 툴들에 익숙해져야 한다.
3주차 부터는 인포메티카를 이용한 ETL process등을 구축하는 방법들과 제플린을 이용하여 scala를 기반으로 spark job들을 airflow로 스케쥴링 하는 법, 태블로를 통한 대시보드 구성하기, 기존 대시보드들을 어떻게 유지 보수하는지 등을 배웠다.
여기에서 해당 원천 데이터들을 어떻게 받는지 그리고 어떻게 가공하는지 전반적인 업무들을 파악할 수 있었다.
해당 교육들은 3일씩 진행되며 4일차에 과제와 과제에 대한 발표를 진행하면서 자신의 해당 과제를 어떻게 수행했는지 이야기를 하는 자리를 갖었다.
교육을 마치고...
전반적인 온보딩 교육을 시작하기 전에 들었던 생각들은 과연 이렇게 넓은 스펙트럼을 한 사람이 다룰 수 있을까? 그리고 나는 프로그래밍 언어에만 익숙해져 있어서 이러한 과정에 빠르게 스며들 수 있을까? 라는 의구심이 많았었다.
하지만 교육을 들으면서 실습을 해보면서 자신감을 얻었고, 과제를 통해 절망을 얻었지만 그 과제들을 끝끝내 완성해 나가는 나를 보면서 아 닥치면 어떻게든 해결 할 수 있다는 자신감을 많이 얻었다.
그리고 교육을 마치고 팀장님의 말씀을 듣고 더욱 동기부여가 되었던 것 같다.
팀장님께서 하신 말중에 가장 인상 깊었던 점은
"우리 팀은 계속해서 성장해나가고 있다. 개개인 모두가 실무를 할 수 있어야 하며, 어디 파트에 가서든 바로 업무를 수행할 수 있어야 한다. 우리는 최소비용 최대효율을 이끌어내는 엔지니어의 마음가짐을 지향하고 있다. 지금은 힘들지라도 내가 너희를 1인분 이상 하게 만들어 줄테니까 믿고 따라와 달라" 였다.
교육을 마쳤을 때는 내 부족한 점만 보였지만 팀장님의 말씀과 내 과제에 대한 성공경험을 통해 더더욱 동기부여가 되는 온보딩이었다.
전반적인 회사 생활
내 회사 생활은 전반적으로 매우 밝은 편에 속하는 것 같다.
주변에 좋은사람들 밖에 없으며 동기도 많고 특히 멘토님이 매우 친절하시다.
요즘 런칭 일정 때문에 매우 바쁘셔서 이야기할 기회가 많이 없지만 런칭이 끝나고 업무가 안정화가 된다면 그때부터 바쁘게 멘토님께 여쭤볼 것 같다.
회사 생활을 하면서 개인 시간이 많이 사라진 것 같다. 출퇴근 시간이 많이 차지하기 때문인 것 같긴하다. 그럼에도 불구하고 집에 오면 매일 간단한 운동과 언어 공부들 그리고 내가 좋아하는 게임을 간간히 하면서 하루를 마무리하려고 노력하고 있다.
마무리
데이터 엔지니어는 좋게 말하면 많은 것을 다루지만 나쁘게 말하면 너무 많은 것들을 다뤄 공부할 것이 너무 많다.
때문에 계속해서 공부하지 않으면 도태되기 십상이다.
항상 꾸준히 성장하는 개발자가 되기를 바라면서 이만 후기를 마친다.
