ELK 스택을 구축해보기!
필자는 AWS의 클라우드 환경에서 CQRS를 구축하고 있기에 ElasticSearch와 Kibana는 AWS의 OpenSearch를 이용하여 구축하였습니다. Logstash는 AWS에서 따로 서비스로 제공하지 않기에 Docker를 통해 EC2에 띄웠습니다.
물론 오픈소스이기에 Docker를 통해 컨테이너를 띄울 수 있지만, 필자가 Docker를 통해 구축할 때 어떤 이유에서인지 Kibana를 접속할 수 없는 알 수 없는 오류가 생겼었다.
AWS OpenSearch!!
AWS는 Opensearch라는 서비스 안에 ElasticSearch를 제공해주는데,편하게 GUI를 통해 클러스터 수와 노드 수를 설정해 생성할 수 있으며, 프로메테우스와 같은 관리 도구와 함께 연동하여 Logging 및 모니터릴 서비스도 제공 받을 수 있습니다.
아래의 그림과 같이 설정하는 법을 보여드리겠습니다.
- 손쉬운 생성을 클릭하시면 엔진(Opensearch or Elasticsearch 버전)을 선택할 수 없기에 원하는 버전과 엔진이 있으시다면 사용자 지정 생성을 통해 설정하시기를 추천드립니다. 그리고 개발 및 테스트 용도이기에 선택하였습니다.
- 이 후에는 가용 영역 선택과 어떤 엔진과 버전을 택할 것인지 선택하시면 됩니다.
- 이 부분은 데이터 노드에 대한 설정을 확정지는 구간입니다. 여기서 인스턴스의 유형을 설정할 수 있으며, 이때 주의할 사항은 노드 수는 가용영역의 배수로 설정하셔야합니다.
- 이 부분에 대한 설정은 기본값들을 따라했고 따로 설정해준 것은 없었습니다.
- 이제 ElasticSearch의 Cluster가 어디 VPC와 서브넷에 위치하는지 설정하는 부분입니다. 필자는 이미 이전에 구축해놓은 VPC와 서브넷을 할당 시켰습니다.
- 이 세분화된 엑세스 제어는 Kibana에 접속할 때 접근 권한을 생성하는 구간입니다.여기서 설정한 이름과 비밀번호를 알고 있어야 나중에 Kibana에 접근 할 수 있습니다.
이 이후 부분은 기본 Setting을 따라서 진행하였고 생성을 클릭하시면 약 20분 정도 뒤에 생성이 되는 것을 볼 수 있습니다.
글을 마치며
이번글은 빠르게 AWS를 통해 ElasticSearch를 구축하는 과정을 간단히 설명 드렸습니다. 다음 글에서는 EC2에서 Logstash를 띄우는 방법과 함께 pipeline template 작성과 함께 Reading을 위한 Server Spring Boot를 올려보도록 하겠습니다.
성장하는것을 제일 즐깁니다.