[Nginx] 성능이 부족한 서버를 죽이는 원인, semrush 의 공격을 막아보자

어제 밤에, 운영중인 서비스가 먹통이된 장애가 발생하였다. EC2에 직접 연결을 하려고 해도, 아예 Connection이 되지 않았고, ping 명령어로 확인을 해도 Timeout이 발생하였다. 처음엔 지원받은 Credit을 다 사용해서, 서버 운영이 끊긴 줄만 알았다.

그러다가, 팀원이 오늘 아침에 확인을 해보니, EC2연결은 잘 되는데, 컨테이너들이 죽어있다고 말해주었다.
Log를 살펴보니, semrushbot의 대상이 되어 과도한 트래픽이 몰렸다.
어제 밤에 막 접속했을 때는, 해당 Bot에 의해 공격받고 있는 상황이어서 EC2에 연결조차 되지 않았다고 추정된다.

위의 처럼 semrushbot의 요청과 함께 무수히 많은 health checking 로그들이 찍힌 것을 확인할 수 있었다.
이를 통해 semrush의 요청이 문제라는 것을 확인하였고, 이를 알아보니, 과도한 네트워크 트래픽을 요청하는 Nginx Bot이라고 한다.
그래서 이를 해결하고자, 이를 막는 설정을 nginx.conf 파일에 추가하여 해결할 수 있다고 한다.

차단 방법을 알려주는 사이트 : https://hoing.io/archives/16905