Redshift free trial 시작하기
Redshift 클러스터를 생성하는 것은 그 자체로 비용이 청구되지만 Redshift Serverless를 사용하게 되면 AWS에서 3개월 또는 300달러의 크레딧을 제공한다. 3개월동안 무료로 사용이 가능하지만 그 기간동안 크레딧 사용을 초과하게 되면 그 비용이 청구된다고 한다.
Region별로 free trial이 가능해서 좀 번거롭지만 무료로 사용하고 싶다면 Region을 바꿔가면서 해도 될 것 같다.
Free trial 시작버튼을 누르면 Redshift serverless 구성 설정 페이지로 들어가게 되는데 특별한게 없다면 모든 것을 default 값으로 설정하고 구성을 저장하면 된다.
대시보드
설정이 완료되는 데 몇 분정도 걸리고 마친 후에는 Redshift serverless 대시보드로 연결된다.
대시보드의 namespace 에서 관리자 계정 정보를 설정하거나 IAM role을 부여할 수 있다. workgroup 에서는 보안그룹 설정과 퍼블릭 액세스 가능 여부 변경 등을 할 수 있다.
연결을 위한 보안 설정
나의 경우 시각화 툴인 Superset이나 Tableau에 Redshift를 연결하기 위해 퍼블릭 액세스 기능을 켜짐으로 설정하고, 보안그룹의 inbound rule에 아래와 같이 추가해주었다.
시각화 툴이나 다른 툴에서 Redshift연결 시 서버명은 엔드포인트를 복사하여 사용하면 되는데 뒤에 포트와 데이터베이스 이름이 딸려있어 그건 지워줘야 한다... 대부분 서버, 포트, 데이터베이스명을 따로 기입하는 것 같다.
S3 권한 설정
또한 S3에서 파일을 읽어와 벌크로 Redshift table에 적재를하기 위해 S3에 있는 파일을 읽는 권한이 필요하여 IAM 콘솔에서 S3 read policy를 더한 Role을 생성하고 Redshift 서비스에 부여했다. namespace 에서 설정이 가능하다.
간단하게 S3에서 파일을 읽는 권한을 가지고, 퍼블릭 액세스가 가능하여 다른 툴과 연결할 수 있는 설정을 해보았다.
Redshift serverless를 사용하여 테이블을 생성, 적재, 쿼리해보았는데 생각보다 아주 빨리 크레딧이 닳아버려서 과금이 될까봐 무서워서 잘 못쓰겠다. 😅
Superset이나 Tableau 를 사용하는 경우 차트를 생성하고 변경할 때마다 쿼리를 하게 되는데 그때마다 크레딧이 깎여서 더 빨리 닳는거같다. 그래서 임시 방편으로 csv파일로 쿼리 결과를 추출해서 다운로드 하고 그 파일을 툴에서 사용했다. (이렇게 하는게 맞는지는 모르겠지만...)
대시보드에서 쿼리데이터 버튼을 누르게 되면 Redshift query editor v2 가 새 창으로 뜨게 되는데 여기에서 쿼리를 작성하여 실행할 수 있다.
쿼리 결과를 csv 파일로 추출하기 위해서는 설정의 Export settings 에서 Allow export result set 을 체크하고 저장해야 한다. 이 설정을 안하면 자꾸 권한이 없다고 떴었는데 이걸 모르고 Role이 없어서 안되는 줄 알고 한참을 삽질했다.ㅎㅎ
Redshift serverless를 사용하면서 든 생각은 정말 생각을 많이 하고 쿼리를 날려야겠다는 것이다.. 과금의 압박이 너무 심하다!ㅠㅠ
