들어가기 전에

먼저 저를 리뷰어로 선정해주신 길벗출판사분들께 정말 감사 드립니다!
이 글은 길벗출판사의 "데이터 엔지니어를 위한 97가지 조언"의 리뷰어로 선정되어 쓰여진 것임을 밝힙니다.
그리고 솔직하게 글을 적다보니 문어체로 서술된 점 양해 부탁 드립니다. (넙죽)

리뷰

책을 선택한 이유

길벗 22차 개발자 리뷰어에 선정되어 글을 쓰게 되었다. KPI 업무를 맡은 지 3개월 정도 되었는데, 백엔드 개발 경험 밖에 없던 나에게 이 책은 매력적으로 느껴졌다. 나는 보통 특정 기술이나 분야에 대해서 공부를 할 때 제일 먼저 그 기술 자체의 배경지식을 쌓고자 노력한다. 왜냐하면 큰 그림을 먼저 봐야, 작은 부분에 집중했을 때 막히는 부분이 덜 발생하기 때문이다. 이러한 나의 성향이 이 책을 선택하게 만들었다. 97가지의 조언은 곧 97명의 엔지니어가 이 책에 참여했다는 뜻이며, 그만큼 폭넓고 다양한 지식을 접할 수 있는 책이라 생각했다. 그리고 이런 나의 예상은 적중했다.

책을 읽은 방법

책의 목차를 보면, 각기 다른 엔지니어들이 자신만의 조언을 한 챕터씩 남겨놓았다. 그래서 각 조언들은 서로 독립적인 내용을 담고 있다. 나는 효율적으로 정보를 습득하고자 먼저 책을 통해 얻고자 하는 목표들을 정리했다. 그리고 그 목표에 해당하는 조언들을 마킹해둔 뒤에, 각 목표마다 마킹된 순서대로 챕터들을 읽어나갔다. 이런 방식으로 읽으니 정보들이 서로 연결되는 부분 생겨 개인적으로 좀 더 내용이 잘 이해되는 느낌을 받았다. 개인적으로 추천하는 독서 방법이다.

책을 통해 얻은 것들

위에서도 언급했듯이 난 책을 통해 데이터 엔지니어링이란 기술의 배경지식부터 알고 싶었다. 왜냐하면 모든 기술은 어떤 문제를 해결하고자 나온 해결책이기 때문이다. 그래서 데이터 엔지니어링이 풀고자 하는 문제가 무엇인지 정확하게 정의한다면, 기술을 보다 더 깊이 있게 이해할 수 있고, 새로운 기술이 나온다고 해도 빠르게 습득할 수 있다. 그리고 이런 나의 요구는 책 전반에 녹아져 있었다.

메모리 가격이 낮아지고 CPU 코어의 수가 늘어나며, 네트워크를 통해 서로 다른 컴퓨터가 통신할 수 있게 되면서 처리할 수 있는 데이터의 크기는 기하급수적으로 늘어났다. 성능된 컴퓨팅 파워로 인해 인공지능 산업이 발전하였고 이를 뒷받침 해줄 데이터 엔지니어링이 필요해졌다. 그러나 여기까진 누구나 아는 사실이다. 우리에게 필요한 것은 보다 더 생생한 경험담이다.

이 책에선 무려 170 테라 바이트를 손실한 경험을 통해 얻은 인사이트가 담겨 있다. 사실 170 테라 바이트를 다룬다는 사실만으로 우린 어째서 데이터 엔지니어링이 필요로 한 지 느낄 수 있을 지도 모른다. 그리고 아파치 카프카란 기술이 어떤 문제를 해결하기 위해 탄생 되었는 지도 담겨 있다. 이 사실만으로 흥분을 감추지 못하는 사람이 분명 있을 것이다. 또한 맵리듀스를 포함하여 어떤 알고리즘이 데이터 엔지니어링을 지탱하는 기둥 역할을 하고 있는 지도 정리되어 있다. 초심자의 입장에선 무척이나 감사한 일이 아닐 수 없다.

KPI 업무에 도움이 된 부분

마지막으로 무엇보다 내 관심을 끈 챕터는 24번 챕터였다. 이 챕터는 로그 중심의 아키텍처에서 메시지 정의 및 관리 방식에 대한 조언을 담고 있는데, KPI 업무에 꼭 필요한 내용이라고 느꼈다. 마치 문제집의 정답을 보듯 다른 사람은 나와 비슷한 문제를 어떻게 풀어나갔는지 조금이라도 느껴보고 싶었다. 그리고 결론적으로는 내가 맡은 업무를 해결해 나갈 단초를 얻어갈 수 있었다.

마무리

여기까지가 “데이터 엔지니어를 위한 97가지 조언”이란 책에 대한 나의 리뷰이다. 마음 같아선 많은 분량의 글을 적고 싶지만 때론 적당한 분량의 글이 읽기 좋다는 것을 알기에 책에 대한 나머지 내용은 이 책을 읽고자 하는 분들께 남겨두고자 한다. 그리고 나와 같이 데이터 업무를 갓시작하거나 입문하신 분들께 도움이 되고자 실제로 내가 얻은 도움들 위주로 작성하였다.