[TIL 20일자] 데브코스 데이터엔지니어링

·2023년 5월 6일
0

데브코스

목록 보기
19/55

📚 오늘 공부한 내용

👊 팀 프로젝트

카테고리별 유튜브의 파급력 (조회 수, 좋아요 수, 구독자 수) 데이터 크롤링 및 시각화

  • 프로젝트의 마지막 날이었다. 대부분의 구성은 완료되어 있는 상태였고, 가장 중요한 부분은 일별, 월별, 주별 유튜버 개인의 그래프만 남은 상태였다.
  • 다만 직접 Back-end에서 Word Cloud를 생성하는 method를 구현해 DB에 직접 접근하여 채널ID를 통해 상세 화면이 로딩될 때마다 같이 Word Cloud를 불러오는 것을 구현하고 싶다는 생각이 들어 이 부분을 마지막 날 내가 구현해야 할 것의 중점으로 두었다.

1. DB에 직접 접근하여 원하는 조건의 쿼리문으로 Word Cloud 생성


2. 버튼을 통해 일별, 주별, 월별 그래프가 표출되게 화면 구현


3. 프로젝트의 목적에 맞고 사용자의 입장에서 생각하며 최종 UI 수정


🔎 어려웠던 내용 & 새로 알게 된 내용

1. Word CloudBack-end에 직접 구현하여 채널ID를 통해 페이지 호출 시 생성된 Word Cloud 표출에 발생한 오류 및 해결 방법

  • 프로젝트 과정에서 가장 많은 오류를 만났던 부분이라고 생각한다. Word Cloud 생성 부분과 관련해서는 담당 팀원이 구현해 두었기 때문에 큰 어려움이 없을 것이라 생각하였는데 몇 가지 문제가 발생하였다.
  • 처음 발생한 문제는 지정한 위치에 Word Cloud가 제대로 생성되지 않아 저장이 되지 않는다는 것이었다.
  • 저장과 관련된 문제를 해결했을 때 발생한 가장 큰 문제는 주소가 호출될 때 채널ID라는 파라미터가 넘어가고 이때 Word Cloud 함수를 통해 Word Cloud가 지정된 위치에 저장이 되는데 그 위치를 바로 불러오게 되면 시간 차이 때문인지 사진을 불러오지 못한다는 것이었다.

✍ 회고

  • 짧게나마 프로젝트 관련하여 하루에 무얼 했는지 기록해 둔 게 TIL을 쓰는 데 도움이 되었다. 첫 프로젝트와 TIL 동시 진행이라 오히려 더 어려움을 겪었던 것 같다. 다음 프로젝트 때는 TIL을 꼭 밀리지 않고 그날그날 진행하겠다고 반성 겸 다짐을 다시 한 번 다지고 간다.
  • 원하는 주제를 직접 정하고 하는 팀 프로젝트가 오랜만이라 더 과몰입이 가능했던 것 같다. 내가 흥미를 가지고 있는 주제로 프로젝트를 하니 더 열정과 애착을 가지게 된다고 해야 하나. 개인적으로 생각한 프로젝트의 목표는 배운 것을 모두 활용해 볼 수 있는 페이지를 만드는 것이었는데 지금까지 배운 html, css, Django, 데이터 크롤링, 데이터 시각화 중 그래프와 워드 클라우드를 모두 활용했다는 점에서 개인적인 프로젝트 목표를 이루었다고 생각한다. 또한 워드 클라우드를 DB에 저장된 것을 실시간으로 데이터를 조회해 출력할 수 있게 코드를 만들어 보는 것도 성공했다. 결과물을 보니 뿌듯함과 더불어 이번 프로젝트는 카테고리별 상위 유튜버를 정해 두고 했지만 여건이 된다면 더 많은 유튜버의 데이터를 분석, 크롤링 및 시각화 하는 페이지를 만들어 보고 싶다는 생각이 들었다.
profile
송의 개발 LOG

0개의 댓글