[TIL 38일자] 데브코스 데이터엔지니어링

송·2023년 5월 31일

TIL

데브코스

목록 보기

36/55

📚 오늘 공부한 내용

👊 팀 프로젝트 - TOUR API를 이용한 관광 인프라 및 추이 대시 보드

1. 각 대시 보드 역할 분담

구성했던 세 개의 대시 보드 역할 분담이 완료되었다.
나는 내외국민 방문객 추이 및 관광 인프라 현황 비교 대시 보드를 맡게 되었는데 어떻게 구상해야 할지 생각해 보았다.

2. 내외국민 방문객 추이 및 관광 인프라 현황 비교 대시 보드

총 두 개에서 세 개의 차트 정도로 구성하면 어떨까 생각하였다.
지역별 내외국민 방문객 추이 (3 년)
- 연도별로 지역의 방문객 순위가 어떻게 변하는지 보여 주면 좋을 것 같다는 생각이 들었다.
- 그런데 3 년을 연도별로 보여 주게 되면 curve 그래프를 사용한다고 쳤을 때 굉장히 그래프에서 보여 줄 수 있는 범위가 짧다는 생각이 들었다.
- 그래서 분기별로 나누어 총 6 분기를 혹(bump) 차트로 보여 주면 좋겠다는 생각을 했다. 혹(bump) 차트로 보여 주게 되면 내외국민 관광객이 많이 찾는 관광지 순위를 한눈에 볼 수 있다는 장점이 있다.
- 그게 아니라면 다음과 같은 영역 차트를 통해 내국민의 해당 지역 방문 추이와 외국인의 해당 지역 방문 추이, 그리고 총 방문 추이를 보여 주는 것도 좋겠다고 생각했다. 영역 차트로 보게 되면 해당 지역의 누적 방문객 변화 추이를 볼 수 있다는 장점이 있다.
방문율 대비 관광 인프라 현황
- 처음에는 단순하게 막대 그래프와 꺾은 선 그래프를 통해 보여 주려고 했는데 인프라 현황의 경우 현 시점을 기준으로 한 데이터밖에 없기 때문에 막대도 꺾은 선 그래프도 시기별로 보여 줄 수가 없다.
- 그래서 평균을 통해 방산형 그래프 즉, 레이더 차트를 사용하는 건 어떨까라는 생각을 했다. 이 부분은 조금 더 생각해 봐야 할 것 같다.

3. 태블로 환경에 AWS Redshift 연결

4. AWS 크레딧 관련 이슈 논의

AWS 크레딧이 쿼리를 날릴 때마다 닳는데 우리 팀은 태블로에서 작업을 할 때 Redshift 환경을 바로 연결해 주었다.
Redshift 환경을 바로 연결해 주면 Redshift에 있는 테이블로 태블로의 차트를 생성할 때마다 SELECT 문으로 조회가 일어나게 되는데 그 때문인지 하루 만에 100 크레딧이 닳았다.
이 문제를 해결해 주기 위해 몇 가지 방법을 생각해 보았다.
- Redshift의 analytics 스키마에 그래프를 위한 분석 테이블을 생성해 준 후 해당 데이터를 csv 파일로 추출해서 csv 파일을 태블로에 적용한다.
- MySQL DB 환경을 구축해서 MySQL을 태블로에 연결해 준다.
- 새로운 크레딧이 넉넉한 계정으로 환경을 옮긴다.
일단 태블로를 좀 더 익혀 보고 생각하기로 하였다.