🚢GKE [🍃WAS 앱 배포(SpringBoot) & 🚨트러블 슈팅]

첫번째 ManifestFile

Deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jpapractice-deployment
spec:
  replicas: 3  # Set the desired number of replicas
  selector:
    matchLabels:
      app: jpapractice
  template:
    metadata:
      labels:
        app: jpapractice
    spec:
      containers:
        - name: jpapractice
          image: adultkim/jpapractice:latest  # Your Spring Boot application image
          ports:
            - containerPort: 8081  # Port your Spring Boot application is running on

Service.yaml

apiVersion: v1
kind: Service
metadata:
  name: jpapractice-service
spec:
  selector:
    app: jpapractice
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8081  # Port your Spring Boot application is running on
  type: LoadBalancer

ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: jpapractice-ingress
spec:
  rules:
    - host: insung-jpadocker.store  # 실제 도메인 설정
      http:
        paths:
          - pathType: Prefix
            path: "/"
            backend:
              service:
                name: jpapractice-service
                port:
                  number: 80

---

문제점 확인

아무리 실행해도 외부에서 접속이 안되고, 너무 답답했었다..
1. 우선 pod에 이어지는 포트 설정을 8080으로 시작했었는데, application 설정을 8081번으로 포트 지정을 해놔서 고쳤음.

2. 처음에 ingress 파일에 host를 지정해주지 않았는데 그것 때문인가? 라는 고민도 해서, 원래 가지고 있던 DNS를 우선 작성해주었다. (아직 IP할당은 할 줄 몰랐음)

---

해결시도

1. host의 도메인 주소를 IP 서비스에서 연결하기위해서 서비스의 외부 IP 주소를 확인하였다.
   kubectl get svc jpapractice-service
2. IP 주소를 확인했고 DNS 서비스에서 DNS주소에 IP주소를 할당해주었다.
3. curl http://insung-jpadocker.store 명령어를 통해서 요청확인을 했는데, 커넥션 타임아웃이 떠버림..

curl http://insung-jpadocker.store
curl: (7) Failed to connect to insung-jpadocker.store port 80: Connection refused

여기서 Ingress 리소스가 올바르게 생성되지 않은건가..? 동작이 잘못된건가 해서 다시 확인 해봐도 문제없음..
kubectl get ingress -> 인그레서 자원 잘 실행되고 있었음

4. 방화벽 문제인가 싶어서 구글링을 해보았지만 딱히 방화벽 문제로 보이지않았다..

5. 중간에 service 타입이 문제인가 싶어서 type: ClusterIP로 할당했다가, 서비스의 External IP가 할당되지 않는 것을 보고 다시 LoadBalancer로 수정함.

---

문제점 발견

도대체 또 뭐가 문제지 하다가 도커 이미지를 이미 vm환경에서 올바르게 배포한 경험이 있어서 실행할 was 이미지 파일에 문제가 있을거라고 생각도 못했다..

@cloudshell:~/prac (jpa-practice)$ kubectl get all
NAME                                          READY   STATUS             RESTARTS      AGE
pod/jpapractice-deployment-555d5bbc64-h84rg   0/1     CrashLoopBackOff   2 (16s ago)   39s
pod/jpapractice-deployment-555d5bbc64-jk4k7   0/1     CrashLoopBackOff   2 (18s ago)   39s
pod/jpapractice-deployment-555d5bbc64-jrr2r   0/1     CrashLoopBackOff   2 (15s ago)   39s

NAME                          TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/jpapractice-service   ClusterIP   10.8.9.32    <none>        80/TCP    30s
service/kubernetes            ClusterIP   10.8.0.1     <none>        443/TCP   106s

NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/jpapractice-deployment   0/3     3            0           40s

NAME                                                DESIRED   CURRENT   READY   AGE
replicaset.apps/jpapractice-deployment-555d5bbc64   3         3         0       40s
a01043753181@cloudshell:~/prac (jpa-practice)$ kubectl get all
NAME                                          READY   STATUS             RESTARTS      AGE
pod/jpapractice-deployment-555d5bbc64-h84rg   0/1     CrashLoopBackOff   3 (14s ago)   64s
pod/jpapractice-deployment-555d5bbc64-jk4k7   0/1     Error              3 (43s ago)   64s
pod/jpapractice-deployment-555d5bbc64-jrr2r   0/1     Error              3 (40s ago)   64s

NAME                          TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/jpapractice-service   ClusterIP   10.8.9.32    <none>        80/TCP    56s
service/kubernetes            ClusterIP   10.8.0.1     <none>        443/TCP   2m12s

pod의 상태를 Status를 확인하니 CrashLoopBackOff 와 Error 상태인 것을 뒤늦게 확인하였다..

---

지피티의 도움을 받아서 원인을 드디어 찾아내게됨... 로그를 확인해보니

ERROR org.springframework.book.SpringApplication - Application run failed
java.lang.IllegalArguemtnException: Could not resolve placeholder 'active' in value "${active}"

active라는 환경변수를 처리할 수 없다는 에러....
도커 이미지를 TravisCI를 통해서 CI 환경에 배포할 application.yml파일 설정을 개발(dev), 배포(prod) 두가지로 따로 해놨었는데, 도커 이미지를 빌드하는 순간에 jar 파일을 실행하는 옵션 태그를 주었던 것이 원인 이었다..

FROM openjdk:11
ARG JAR_FILE=build/libs/*.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar", "-Dspring.profiles.active=${active}", "-Duser.timezone=Asia/Seoul", "/app.jar"]

• 이전에는 쉘 스크립트를 통해서 vm 환경에서 docker-compose 파일을 이용하여 컨테이너를 실행시킬 때 해당 환경변수를 채워줬는데, 여기서는 따로 처리하지 않아서 앱 실행 자체가 되지 않았던 것...

---

문제점 해결

이미지파일을 수정해서 다시 빌드하고 도커허브에 푸쉬해야하나? 했지만, 이는 적절한 방법이 아니라고 생각하였고, Pod에서 환경변수를 설정할 수 있는 방법을 찾아서 적용할 수 있었다..
https://kubernetes.io/ko/docs/tasks/inject-data-application/define-environment-variable-container/

두번째 Deployment.yaml 파일..!

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jpapractice-deployment
spec:
  replicas: 3  # Set the desired number of replicas
  selector:
    matchLabels:
      app: jpapractice
  template:
    metadata:
      labels:
        app: jpapractice
    spec:
      containers:
        - name: jpapractice
          image: adultkim/jpapractice:latest  # Your Spring Boot application image
          env:  # 문제였던 환경 변수 추가
            - name: active
              value: "prod"
          ports:
            - containerPort: 8081  # Port your Spring Boot application is running on

문제였던 환경변수를 해결하고 다시 컨테이너를 실행하니 status 가 Running 상태로 올바르게 실행되었다..!

실행 완료

작성해둔 Ingress와 GKE에서 지원하는 로드밸런서의 동작으로 올바르게 External Ip를 통해서 WAS에 접근이 가능한 것을 확인하였다 ㅠ

rule에 작성해둔 host도 DNS서비스를 이용해 External IP에 연결해놓아서 올바르게 도메인주소로도 접근이 가능하다..!
전에는 nginx를 통해서 리버스 프록시를 이용하여 웹 서버를 실행했었는데 로드밸런서를 사용하니 너무나 편안함...

좀 더 완벽하게 공부해서 쉽게 다룰수 있도록 CI/CD환경을 배포할 수 있는 능력을 키워야겠다

---

MySQL 연결

https://velog.io/@99_insung/GKE-%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EB%B3%BC%EB%A5%A8PV-PVC%EB%A1%9C-MySQL-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95-%ED%8A%B8%EB%9F%AC%EB%B8%94-%EC%8A%88%ED%8C%85#springboot-%EC%9B%B9-%EC%95%A0%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98--%EC%9D%B4%EC%A0%84-%ED%8F%AC%EC%8A%A4%ED%8C%85