3~4주차 Troble & Troubleshooting

🚀 개발 & devops 단계

📌삼성 헬스 데이터를 가진 모바일과 맴버 정보를 가진 스마트 미러를 어떻게 연결해야 하나?

✅ 리액트에서 서버에 요청을 보내면 숫자와 문자가 섞인 임의의 6자리 인증번호를 보내고 이를 스마트미러에 뛰우게 한다. 모바일 회원은 앱에서 회인증번호를 입력하면 해당 accesstoken 과 refreshtoken을 발급하여 기존 스마트 미러 회원과 모바일 회원을 연동시키는 방식을 채택하였다.

📌 쿠버네티스를 어떻게 적용할 것인가?

최종적으로 이렇게 설계했다.

Ingress Controller로는 NGINX Ingres Controller로 정하였고, 리버스프록시를 위해서 Certbot과 Let's Encrypt를 이용할 예정이며 Helm을 이용할 예정이다.

3개의 인스턴스 중 하나를 마스터 노드로 지정하여 Gateway와 Redis, MySQL, Mongo DB (DB 도커 컨테이너) 를 설치할 예정이며 나머지 2개의 워크노드에 각각 MSA 스프링 서버들과 머신러닝 서버를 레플리카 복제해서 하나씩 배포하고 CNI로 연결할 예정이다. 또 게이트 웨이에서 최소 연결 응답 시간 방식으로 (Haproxy 나 아니면 라운드로빈형태로 머신러닝 서버 메모리 한계두기) 로드밸러싱을 통해 각각의 서버에 통신을 보낼것이다.

또한, Argo CD, 프로메테우스, 그라파나도 함께 사용할 예정이다.

이번에 쿠버네티스를 설계하면서 많은 궁금증이 생겨서 질문형태로 정리해두었다.

0. Jasypt, MySQL같은 비밀번호 yml파일이나 젠킨스 파이프라인 스크립트에서 관리하는데 secret로 꼭 작성해야 하나요?
   
   
1. 그전에는 Eureka라는 서비스 디스커버리를 썼는데 별도의 설치없이 매니페스트(yaml)파일에 service 항목만 작성하면 되나요??
   
   
2. Spring Cloud Gateway를 그전에 썼는데 Eureka 부분만 수정해서 쓰면되나요?? 이때 저희 파이썬 서버가 Fast Api를 사용하는데 스프링 서버랑 똑같이 url만 관리하면 되는건가요?? 또 Config Map이나 Secret는 꼭 작성해야하나요??
   
   
3. Certbot 과 Let's Encrypt를 NGINX에서 사용했는데 NGINC INGRESS CONTROLLER를 엔진엑스대신쓴다면 똑같은방식으로 하면 되는건가요??
   
   
4. 로드밸런서는 쿠버네티스의 로드밸러서를 사용하게되면 yaml 파일에서 관리가능하다는데 라운드로빈 형태만 지원하는걸로 알고있습니다! 저희프로젝트 특성상 머신러닝 서버쪽에 부하나 시간이 많이 소요되는데 따라서 최소연결이나 최소응답시간형태로 로드밸런싱을위해 Ha proxy같은걸 써야하는지 아니면 파이썬 서버의 메모리의 한계를 두어서 라운드로빈형태도 가능하게 하는게 좋은지
   
   
5. 서로 다른 인스턴스의 모든 파드가 동일한 네트워크를 갖기위해 하는 도커 네트워크가 뭔지 아실까요?? 이게 CNI 인가요?? 도구 질문입니다!
   
   
6. 지금구상은 ingress controller, certbot, Let's encrypt, Helm, Argo cd, 프로메테우스, 그라파나 이런 도구등을 사용할 예정인데 가장 쉬운방법으로 쿠버네티스를 구성하려면 뺄께 있을까요?? 아니면 최소한의 쿠버네티스 기능을 위해 더해야하는게 있을까요??
   
   
7. 무중단 배포를 위해(green,blue 정책 또는 다른 방법들) 지금의 인스턴스 갯수가 충분한가요?? 로드밸런싱을 위해 2대의 인스턴스에 복제해서 사용중인데 만약 힘들다면 로드밸런싱을 포기하고 무중단 배포가 가능한가요??

정말 많은 사람들과 이에대해 토론해보았다 대부분 내가 생각하는 방식이 맞았다. 따라서 그냥 처음 설계한 방식으로 진행하기로 했다.

👉 자세한 사항은 [ All about 쿠버네티스 ] 이 게시글 에서 확인하자!

✅ 아쉽게도 쿠버네티스 설정하는데 시간이 많이 부족하다. 따라서 이번 프로젝트에서는 더 간편한 도커스웜을 사용하기로 결정하였다.

📌 매번 헬스 데이터값을 저장하는 경우와 날짜별 최종 헬스 데이터 값(하루기준) 이 필요한 경우 어떤식으로 DB를 구성해야할까?

매번 여러 종류의 헬스 데이터값을 저장하는 로깅형태의 경우 스키마리스 및 Document 형태의 데이터 구조를 가지며 대용량 데이터 처리에 용이한 Mongo DB를 사용하기로 하였고

하루가 끝나면 Scheduled를 사용하여 서비스단에서 값을 저장하여 트랜잭션을 지원하는 (데이터의 정확성과 일관성이 중요하므로 그리고 이 밖에도 데이터의 안정성과 무결성, 구조화된 데이터 처리 등) MySQL에 저장하기로 하였다.

👉 관련 내용은 [ 데이터베이스 시스템 이해하기: MySQL, MongoDB, PostgreSQL, Redis ]

📌 밤 12시 가 되면 그 전날 Mongo DB에 저장된 마지막 값을 불러와 MySQL에 저장하는 형태로 하는데 저장이 안된다.

아마도 동시성 이슈 또는 네트워크 지연 문제인 것 같다.
mongodb 도커 컨테이너는 매니저노드에 잇고 헬스 서비스는 2개의 워크노드에 레플리카로 복제해서 사용하고 있다.

👉 MongoDB Reactive를 사용하여 해결하였다.

MongoDB Reactive는 비동기 및 논블로킹 방식을 사용하여 데이터를 처리합니다. 
이는 여러 요청을 동시에 처리하면서도, 각 요청이 독립적으로 실행될 수 있게 합니다. 
따라서 한 요청이 네트워크 지연이나 다른 문제로 인해 지연되더라도, 
다른 요청들이 그로 인해 차단되지 않고 계속 실행될 수 있습니다.

📌 3개의 인스턴스를 하나의 서비스로 연결을 어떻게 할 것인가?

도커스웜을 활요하기로 하였다. 한개의 매니저 노드와 2개의 워크노드로 하나의 클러스터로 구성하고 오버레이 네트워크(Overlay network)를 사용하여 하나의 네트워크로 연결하기로 하였다.

👉관련 내용은 [ Docker Swarm Network 종류 ] 에서 확인하자!

📌지급받은 2개의 인스턴스 IP와 개인 인스턴스 IP의 VPC가 다른데 어떻게 한개의 네트워크로 연결 할 수 있을까?

매니저 노드의 퍼블릭 IP를 사용하여 하나의 클러스터로 연결하기로 하였다. 만약 3개다 같은 VPC라면 프라이빗 IP를 사용하여도 무관하다.
👉 관련 게시글 [ Public IP 와 Private IP ]을 참고하자!

📌CORS 에러!

👉 갑자기 프론트에서 CORS에러가 자꾸 난다고 한다. Swagger와 포스트맨에서는 아무 문제가 없는데 특정 controller URL 매핑에서만 문제가 일어난다고 한다. 쭉 검사해보니 AuthenticationFilter(토큰유효성 검사가 통과해야 하는 필터)를 걸어준 것중에

predicates:
            - Path=/health/**
            - Method=GET,POST,PUT,DELETE

여기 것만 자꾸 안되는 상황이 발생했다.

✅ 정말 많은 사람과 이야기 해본 결과 원인을 찾을 수 있었다. 프론트엔드에서 프리플라이트라는 요청을 먼저 보낸다고 한다. (accesstoken의 유효성을 확인해보기 위해) 그런데 이 프리플라이트 요청이 하필이면 method가 options란다! 그래서 CORS가 일어나는 거였다.
따라서, 아래와 같이 코드를 수정하여 해결하였다.

predicates:
            - Path=/health/**
            - Method=GET,POST,PUT,DELETE,OPTIONS 

프리플라이트에 대해서는 [ CORS 와 preflight ] 이 블로그에서 자세히 알 수 있다.