이번 프로젝트를 완료하긴 했다...
하지만 완벽하다고 생각하지 않았기 때문에 만났던 문제점들을 적어보려고 한다.
-
메모리 문제
ec2 프리티어를 이용해서 진행했기 때문에 메모리가 1기가가 주어졌다.
처음에는 그냥 구동하면 자꾸 중간에 멈추고 점유율이 90퍼센트가 넘어가서 이유를 몰랐다...
메모리가 1기가인 것을 알게 되었고 elk 메모리 옵션들을 찾다 보니 jvm.options에 해당 옵션이 있었다. 256m를 최대로 주니 정상적으로 작동했다. -
Timezone
마무리 단계에서 키바나로 시각화를 진행하는데 00시부터로 데이터를 삽입하고 시각화해서 보니 9시로 시간이 나왔다... 구글에 kibana+9라고 검색해보니 해결 방법이 나와 있었고 다행히 해결했다. -
Elasticsearch 필드명 대문자 불가능
매핑하는 과정에서 필드명을 대문자로 적었는데 나중에 확인해보니 내가 지정한 매핑이 아닌 자동 매핑이 자꾸 수행되었다. 유심히 보니 SQL에서 받아오는 데이터는 소문자로 받아오는 것을 알게 되었고 소문자로 변경하니 해결되었다. -
권한 문제
Elasticsearch 및 logstash를 실행하니 권한 문제가 계속해서 발생했다.
chown을 이용하여 각각의 폴더를 Elasticsearch 또는 logstash로 그룹 및 소유자를 변경해주고 쓰기모드를 허용해주니 해결되었다. -
에어플로우 사용 못함...
에어플로우를 사용하지 못해서 추후에 계속해서 해보려고 한다.
최종적인 플로우는
이 프로젝트로 끝이 아닌 ELK의 각 옵션들 및 어떻게 설정하면 대용량의 데이터를 안정적으로 옮길 수 있을까? 와 같은 고민을 해보려고 한다.
ppt자료 -> ppt
