AWS Timestream + Grafana 연동
0
⚡ 들어가기
✔ Timestream이란?
IoT 및 운영 애플리케이션으로 제공되는 확장이 용이한 고속 서버리스 시계열 데이터베이스
- 최신 데이터는 메모리에 저장하고 기록 데이터는 사용자 정의 정책을 기반으로 비용이 최적화된 스토리지에 저장함.
- 시계열 데이터 수명 주기 관리 과정에서 시간과 비용을 절약할 수 있음.
- 시계열 분석 기능이 내장되어 있으므로 데이터의 추세와 패턴을 실시간에 가깝게 파악할 수 있음.
✔ Grafana란?
시계열 데이터에 대한 대시보드를 제공해주는 Data Visualization Tool
⚡ 연동하기
1. Timestream DB, Table 생성
1) DB 생성하기
- Create Database 클릭
- Database configuration 옵션은 Standard로 선택
- 이름은 알아서 설정. grafanaDB로 설정
- Encryption은 키를 선택 하거나, 디폴트 옵션으로 사용. 만약 내 계정에 KMS key가 없는 경우 만들어준다고 함.
- 이대로 create database 클릭
2) Table 생성
- 위에서 만든 DB를 선택하고 테이블 이름 설정.
- Data retention은 데이터의 보존 기간.
- 필수 항목인지는 모르겠으나, 그냥 최소 기간으로 설정함.
- 이대로 create table 클릭
2. Python 3.7 버전 이상 설치
- 기존에 3.9 버전 설치되어 있어서 별도의 설치는 진행하지 않음.
3. Timestream Python SDK 설치 및 구성
- Python용 AWS SDK(Boto3) 설치.
- cmd 창에서 pip install boto3 명령 실행
4. Git Clone
- Timestream으로 지속적인 데이터 수집을 위해서 레포지토리 clone.
- multi-thread Python application Github 리포지토리 복제
git clone https://github.com/awslabs/amazon-timestream-tools.git5. Run the Application
- 위에서 설치한 애플리케이션을 실행
- READ.MD 참조
- 아래의 파일 경로에서 아래의 명령어 실행
pip3 install -r requirements.txt
- 같은 경로에서 명령어 실행
python3 timestream_sample_continuous_data_ingestor_application.py --database-name <db_name> --table-name <table_name> --endpoint <endpoint e.g. 'us-east-1'>
- 만약 Unable to locate credentials 메시지가 출력되고, 제대로 실행되지 않는다면
- AWS CLI에서 Configure 초기 설정해줘야 함.
- AWS CLI 설치
a. 설치가 되어 있다면 상관 없음.
b. 설치가 안되어 있다면 링크에 가서 파일을 다운받아서 설치 진행 - AWS CLI 실행
a. command 창에 aws configure 명령 실행
b. AWS Access Key와 AWS Secret Access Key는 AWS Console에서 보안 자격 증명에 들어가면 찾을 수 있음.
c. CLI, SDK 및 API 액세스를 위한 액세스 키에서 액세스 키가 없는 경우 새로 만들어주면 됨
- AWS CLI 설치
- AWS CLI 초기 설정을 완료하면 위처럼 정상 작동됨.
6. Install Grafana
- 설치
- 로컬로 사용할 경우만 파일을 다운 받으면 되는 것 같음.
- Cloud로 사용할 경우 별도 설치가 필요하지 않은 것 같음.
- Windows - Enterprise 설치함.
7. Install the Timesteam plugin for Grafana
- 설치 링크
- Installing Amazon Timestream on Grafana Cloud를 클릭하면 Grafana 계정을 만들거나, 로그인해서 사용할 수 있음.
- 무료 버전도 어느 정도의 성능은 지원하므로 로그인 함.
- 로그인한 후, Install the Timestream plugin for Grafana 페이지에 들어가서 플러그인 설치
8. Grafana Dashboard
- Grafana 페이지에서 Confiuration - Datasource - Add Datasource를 클릭해서 Timestream 검색 후, Select
- Authentication Provider에서 Access & Secret key를 선택하고 자신의 계정 key를 입력.
- Default Region까지 선택하고 아래의 Save & test 클릭
- Connection success 나오면 성공!
- Default Query Macros 설정
- measure는 가장 흔한 것을 선택하라고 되어 있어서 아무거나 선택함.
- 설정 후 Save & test 클릭
- Dashboards - Browse - GrafanaCloud 폴더 - Usage Insights 선택
- 새로운 패널도 만들 수 있음
Web Developer