EC2 연결이 끊어지는 문제

김창모·2023년 8월 1일
0

Project

목록 보기
7/13

문제상황

Git action 을 사용하여 s3 를 거쳐 codedeploy 를 사용하여 ec2 인스턴스에 파일을 배포하고
deploy.sh 로 실행시키고 있다.
이 과정을 실행시키기 위해 1~2 주간 하나하나 수정하고 체크하다보니 다행히 잘 동작한다.
그런데 ec2 에서 인스턴스 연결성 검사 실패 라고 나오고 배포 주소로 접속이 끊어지는 문제가 계속
발생하고있다. 그래서 검색을 통해 여러 원인을 찾아보다가 실패하였고 전체 과정을 다시 생각하며
문제를 해결해보고자 한다.

상황진단

배포과정은 성공적으로 이루어졌고 배포가 완료된 상태에서 문제가 발생한다.
서버가 내려가 있을경우 팀원들의 요청이 있을때 또는 내가 체크할 때마다
EC2 인스턴스를 재실행 하고 ssh 로 다시 접속하여 deploy.sh 파일을 다시 실행시켜서
매번 다시 실행하고 있지만 내가 작업이 불가능한 상황일때 또 24시간 서비스가 지속되지 않는다는 문제를 해결하기 위해 꼭 해결해야할 문제이다.
1. 배포과정은 정상적으로 이루어진다.
2. 약 한두시간 후 EC2 에서 인스턴스 연결성 검사 실패 라고 나온다.
3. ssh 로 접속한 EC2 인스턴스도 broken pipe 라며 연결이 끊어진다.
4. 프로젝트 내부의 문제로 종료되었거나 EC2 인스턴스의 설정 문제같다.
5. 프로젝트를 로컬에서 아무리 돌려도 종료되는 문제는 발생하지 않는다.
6. EC2 시스템 로그를 보고 모니터링 해봐도 별도의 문제는 발생하지 않았다.
(EX CPU 사용률 , Memory 사용률)

[ec2-user@foreverpet-backend step2]$ client_loop: send disconnect: Broken pipe

해결

여러 과정을 확인해봐도 별도의 문제점을 찾지 못했다.
혹시나 하는 마음에 AMI 를 변경하여 새로운 인스턴스를 만들고 기존과 똑같이 작업을 해주었다.
새로운 인스턴스를 만들면서 여러군데 수정할 부분이 있었지만 기존에 여러 시행착오를 겪으면서
나름 손쉽게 해결할수 있었고 정상적으로 작동하였다.
그리고 또 연결이 끊어지는지 확인하였지만 작업후 두세시간 후에도
6시간 이상 지난 지금도 전혀 문제없이 잘 동작하고있다.
검색해도 자료가 많이 나오지 않았고 모든 자료를 확인하며 수정해봤지만 해결되지 않았다.

결론

이유없이 인스턴스가 문제를 일으킬때는 새로운 인스턴스에서 작업을 해보자!
드디어 24시간 API가 동작하게 배포에 성공하였다!
http://ec2-15-164-206-172.ap-northeast-2.compute.amazonaws.com

2개의 댓글

comment-user-thumbnail
2023년 8월 1일

많은 도움이 되었습니다, 감사합니다.

1개의 답글