[Spring Cloud] MSA환경 CI/CD 구축하기

참고
Amazon Linux 2023 Red Hat Linux 기준.

0. 시작

Spring Cloud 기반 프로젝트의 CI/CD 파이프라인을 구축하였다.

 

기존 CI/CD와 다른 점은 여러 서비스를 한꺼번에 배포해야된다는 것이었다.

 

본 프로젝트의 서비스는 아래 세가지였다.

- noti-service

- weather-service

- user-service

 

나머지 환경을 위한 서비스들은 다음과 같았다.

- Eureka

- api-Gateway

- config-service

- Kakfa  & Zookeper

 

해당 서버들 모두 지속적인 배포 환경을 구축했다.

 

우선 다음과 같이 정했다.

 

- Eureka, config-service, kafka, zookeper 네 가지는 서비스 로직이 잘 변경되지 않으므로 컨테이너 최신화를 하진 않았다.

 

- 반면 다른 서비스들은 서비스로직이 변경되기 때문에 최신화를 진행했다.

 

- 비지니스 로직 변경마다 모든 서비스 컨테이너를 다시 실행할 필요는 없다고 생각해서, input을 받아 필요한 서비스만 최신화를 하기로 했다.

 

 

 

1. 쉘 스크립트

 

쉘 스크립트는 3가지로 나눴다.

 

1-1. docker.sh

#!/bin/bash
#셔뱅(shebang) : 이 스크립트가 Bash Shell 에서 실행되어야 함을 나타냄.

#Docker 명령어가 존재하는지 확인함.
# -v 옵션 : 명령어 실행 전 명령어와 인자 출력.
# &> 명령어 출력과 오류 메세지를 리다이렉션. /dev/null 디바이스로 리다이렉션함.
# docker 명령어의 경로를 출력하고(stdout), 발생할 수 있는 오류 메세지(stderr)와 함께 /dev/null 디바이스로 리다이렉션.
# /dev/null 은 특수한 디바이스 파일. 쓰기 작업을 수행할 수 있지만 모든 데이터를 버림.
# 즉, 명령어의 출력과 오류 메세지를 모두 숨길 수 있음.
# 결론적으로 명령어의 존재 여부를 확인. 또는 명령어 실행 결괄르 사용하지 않고 성공/실패 여부만 확인하게 됨.
if ! command -v docker &> /dev/null; then
    # docker 명령어가 실패했을 경우 -> docker 가 설치되어 있지 않음. docker 설치를 진행함.
    echo "Docker is not installed..."
    echo "Docker install start..."
    sudo yum update -y
    # docker 설치
    sudo yum install -y docker
    # docker 권한 설정
    sudo usermod -aG docker ec2-user
    sudo systemctl enable --now docker
    echo "Docker install complete"
else
    # Docker 명령어가 성공했을 경우. Docker 가 이미 설치됨을 출력
    echo "Docker is already installed"
fi

# Docker-compose install
# Docker-compose 설치
if ! command -v docker-compose &> /dev/null; then
    echo "Docker-compose is not installed..."
    echo "Docker-compose install start..."

    #Docker compose plugin 설치 - Amazon Linux 2023
    sudo curl -L https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
    sudo chmod +x /usr/local/bin/docker-compose

    docker-compose version

    echo "Docker-compose install complete!"
else
    echo "Docker-compose is already installed"
fi

 

해당 CI/CD가 새로운 환경에서도 동작할 수 있도록 Docker와 Docker-compose를 설치하는 스크립트를 작성했다.

 

Amazon Linux 2023 (Red Hat Linux) 기준이고,

ubuntu 서버일 시 yum대신 apt-get 를 사용하게 된다.

 

1-2. common.sh

위에서 언급했던 "서비스 로직이 변경되지 않는" 서비스 컨테이너들을 실행하는 스크립트이다.

 

# 현재 실행중인 도커 컨테이너중 단어가 포함 컨테이너를 검색
RUNNING_EUREKA=$(docker ps | grep eureka)
RUNNING_CONFIG=$(docker ps | grep config)
RUNNING_ZOOKEEPER=$(docker ps | grep zookeeper)
RUNNING_KAFKA=$(docker ps | grep kafka)

# Eureka 검색
if [ -z "$RUNNING_EUREKA" ]; then
    echo "Starting Eureka ..."
    docker-compose -f /home/docker-compose.yml up -d eureka
    sleep 5 #Eureka 실행 5초 대기
else
    echo "Eureka is already running"
fi

# Config 검색
if [ -z "$RUNNING_CONFIG" ]; then
    echo "Starting Config Service ..."
    docker-compose -f /home/docker-compose.yml up -d config
    sleep 5 #Config 실행 5초 대기
else
    echo "Config Service is already running"
fi

# Zookeeper 검색
if [ -z "$RUNNING_ZOOKEEPER" ]; then
    echo "Starting Zookeeper ..."
    docker-compose -f /home/docker-compose.yml up -d zookeeper
else
    echo "Zookeeper is already running"
fi

# Kafka 검색
if [ -z "$RUNNING_ZOOKEEPER" ]; then
    echo "Starting Kafka ..."
    docker-compose -f /home/docker-compose.yml up -d kafka
else
    echo "Kafka is already running"
fi

 

bash 의 -z 를 이용하여 컨테이너가 실행중인지 확인하고, 실행하지 않고 있다면 docker-compose를 이용하여

해당 컨테이너를 실행시킨다.

 

 

1-3. service.sh

#!/bin/bash

# 입력받은 서비스 이름
SERVICE_NAME=$1

# 서비스 이름에 따라 배포할 컨테이너 이름 설정
case "$SERVICE_NAME" in
  "api-gateway")
    TARGET_SERVICE="api-gateway"
    ;;
  "noti-service")
    TARGET_SERVICE="noti-service"
    ;;
  "user-service")
    TARGET_SERVICE="user-service"
    ;;
  "weather-service")
    TARGET_SERVICE="weather-service"
    ;;
  "all")
    TARGET_SERVICE="api-gateway noti-service user-service weather-service"
    ;;
  *)
    echo "Invalid service name: $SERVICE_NAME"
    exit 1
    ;;
esac

echo "$SERVICE_NAME service start..."
docker-compose -f /home/docker-compose.yml up -d $SERVICE_NAME

 

Github Action Input으로 받은 파라미터로, 어떤 서비스 컨테이너를 최신화할지 선택한다. 

 

 

2. docker-compose.yml

 

version: '3'

services:

  api-gateway:
    container_name: api-gateway
    image: ${DOCKERHUB_USERNAME}/waither-gateway
    expose:
      - "8000"
    restart: always

    volumes:
      - /home/ec2-user/logs/api-gateway:/logs

  config:
    container_name: config
    image: ${DOCKERHUB_USERNAME}/waither-config
    expose:
      - "8888"
    environment:
      CONFIG_GIT_URI : ${CONFIG_GIT_URI}
      CONFIG_PASSPHRASE : ${CONFIG_PASSPHRASE}
	  CONFIG_PRIVATE_KEY : ${CONFIG_PRIVATE_KEY}
	restart: always

    volumes:
      - /home/ec2-user/logs/config:/logs

  eureka:
    container_name: eureka
    image: ${DOCKERHUB_USERNAME}/waither-eureka
    expose:
      - "8761"
    restart: always

    volumes:
      - /home/ec2-user/logs/eureka:/logs

  user-service:
    container_name: user-service
    image: ${DOCKERHUB_USERNAME}/waither-user
    expose:
      - "8080"
    restart: unless-stopped #수동으로 중지되지 않는 이상 항상 재실행
    volumes:
      - /home/ec2-user/logs/user-service:/logs

  weather-service:
    container_name: weather-service
    image: ${DOCKERHUB_USERNAME}/waither-weather
    expose:
      - "8081"
    restart: unless-stopped
    volumes:
      - /home/ec2-user/logs/weather-service:/logs

  noti-service:
    container_name: noti-service
    image: ${DOCKERHUB_USERNAME}/waither-noti
    expose:
      - "8082"
    restart: unless-stopped
    volumes:
      - /home/ec2-user/logs/noti-service:/logs
        
  zookeeper:
    image: wurstmeister/zookeeper:latest
    container_name: zookeeper
    ports:
      - "2181:2181"

  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

 

필요한 서비스들을 모두 기입했다.

 

필요한 환경변수들은 Github Action Runner에서

export 를 이용하여 환경변수를 설정하고 실행된다.

 

 

3. ci.yml

Continuous Integration (지속적 통합)을 위한 깃허브 액션 워크플로이다.

name: Backend CI

on:
  pull_request:
    branches:
      - prod
      - develop

jobs:
  build-test:
    runs-on: ubuntu-latest

    steps:
      - name: action checkout
        uses: actions/checkout@v3

      - name: Set up JDK 17
        uses: actions/setup-java@v3
        with:
          java-version: '17'
          distribution: 'temurin'

      - name: Grant execute permission for gradlew
        run: |
          chmod +x ./config-service/gradlew
          chmod +x ./noti-service/gradlew
          chmod +x ./user-service/gradlew
          chmod +x ./weather-service/gradlew

      - name: Build with Gradle - config
        run: |
          cd config-service
          ./gradlew clean build -x test 
        env:
          CONFIG_GIT_URI: ${{ secrets.CONFIG_GIT_URI }}
          CONFIG_PASSPHRASE: ${{ secrets.CONFIG_PASSPHRASE }}
          CONFIG_PRIVATE_KEY: ${{ secrets.CONFIG_PRIVATE_KEY }}
        
      - name: Run config-service
        run: |
          ./gradlew bootRun &
          cd ..

      - name: Wait for config-service to start
        run: sleep 5
  
      - name: Build with Gradle - noti-service
        run: |
          cd noti-service
          ./gradlew clean build -x test 
          cd ..
  
      - name: Build with Gradle - user-service
        run: |
          cd user-service
          ./gradlew clean build -x test 
          cd ..
  
      - name: Build with Gradle - weather-service
        run: |
          cd weather-service
          ./gradlew clean build -x test 
          cd ..

 

다른 서비스들이 빌드되기 위해선 Config-Service가 먼저 실행되어야 하기 때문에

 

Config-Service를 먼저 빌드 & 실행하게된다.

 

Config-Service 는 private key로 설정 파일들을 가져오기 때문에 5초만큼 기다렸다가 다음 서비스들을 빌드한다.

 

 

 

4. cd.yml

최종적으로 Continuous Deploy 를 위한 깃허브 액션 워크플로이다.

name: Backend CI/CD with Gradle

on:
   workflow_dispatch:
     inputs:
       service:
         description: 'Choose Service to deploy. Default is all.'
         required: true
         default: 'all'
         type: choice
         options:
         - all
         - api-gateway
         - noti-service
         - user-service
         - weather-service

jobs:
  build:
    runs-on: ubuntu-latest
    
    steps:
      - name: Checkout
        uses: actions/checkout@v3

      #Setting JDK
      - name: Set up JDK 17
        uses: actions/setup-java@v2
        with:
          java-version: '17'
          distribution: 'temurin'

      #gradlew chmod
      - name: Grant execute permission for gradlew
        run: |
          chmod +x ./apiGateway-service/gradlew
          chmod +x ./config-service/gradlew
          chmod +x ./Eureka/gradlew
          chmod +x ./noti-service/gradlew
          chmod +x ./user-service/gradlew
          chmod +x ./weather-service/gradlew
      
      # DockerHub Login
      - name: Docker Hub Login
        uses: docker/login-action@v2
        with:
          username: ${{ secrets.DOCKERHUB_USERNAME }}
          password: ${{ secrets.DOCKERHUB_TOKEN }}

      #Config-Service Build & Docker Push
      - name: Build with Gradle - config
        run: |
          cd config-service
          ./gradlew clean build -x test
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-config .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-config
        env:
          CONFIG_GIT_URI: ${{ secrets.CONFIG_GIT_URI }}
          CONFIG_PASSPHRASE: ${{ secrets.CONFIG_PASSPHRASE }}
          CONFIG_PRIVATE_KEY: ${{ secrets.CONFIG_PRIVATE_KEY }}

      #Config-Service Run
      - name: Run config-service
        run: |
          ./gradlew bootRun &
          cd ..
      #Wait 5 sec
      - name: Wait for config-service to start
        run: sleep 5

      #apiGateway-Service Build & Docker Push
      - name: Build with Gradle - apiGateway
        run: |
          cd apiGateway-service
          ./gradlew clean build -x test
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-gateway .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-gateway
          cd ..
          
      #Eureka Build & Docker Push
      - name: Build with Gradle - Eureka
        run: |
          cd Eureka
          ./gradlew clean build -x test 
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-eureka .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-eureka
          cd ..

      #Noti-Service Build & Docker Push
      - name: Build with Gradle - noti-service
        run: |
          cd noti-service
          ./gradlew clean build -x test 
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-noti .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-noti
          cd ..

      #User-Service Build & Docker Push
      - name: Build with Gradle - user-service
        run: |
          cd user-service
          ./gradlew clean build -x test 
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-user .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-user
          cd ..

      #Weather-Service Build & Docker Push
      - name: Build with Gradle - weather-service
        run: |
          cd weather-service
          ./gradlew clean build -x test 
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/waither-weather .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/waither-weather
          cd ..
  
  deploy:
    name : Connect to EC2 and re-run container
    needs : build
    runs-on : ubuntu-latest
    steps:
      - name: Deploy to Server
        uses: appleboy/ssh-action@v0.1.6
        env:
          SERVICE_NAME: ${{ github.event.inputs.service }}
        with:
          host: ${{ secrets.EC2_HOST }}
          username: ${{ secrets.EC2_USERNAME }}
          password: ${{ secrets.EC2_PASSWORD }}
          port: ${{ secrets.EC2_SSH_PORT }}
          timeout: 60s
          script: |
            export CONFIG_GIT_URI=${{ secrets.CONFIG_GIT_URI }}
            export CONFIG_PASSPHRASE=${{ secrets.CONFIG_PASSPHRASE }}
            export DOCKERHUB_USERNAME=${{ secrets.DOCKERHUB_USERNAME }}
            export CONFIG_PRIVATE_KEY=${{ secrets.CONFIG_PRIVATE_KEY }}

            bash /home/docker.sh
            bash /home/common.sh
            bash /home/service.sh

 

처음엔 workflow_dispatch를 이용하여 재배포한 서비스를 입력받는다.

 

workflow_dispatch를 이용하려면 해당 브랜치가 기본 브랜치에 있어야 한다.

 

- build 작업

 

프로젝트에 대한 gradle 빌드를 진행하고, docker image 빌드 후 push하는 과정이다.

 

 

 

- deploy 작업

 

AWS EC2에 접속 후, 필요한 환경변수들을 설정하고

 

미리 작성해 두었던 스크립트 세가지를 실행한다.

 

 

 

docker -> common -> service 순으로 실행해야지 서비스가 오류 없이 동작한다.

 

 

실행 결과 컨테이너 7개가 실행되는데,

 

처음엔 EC2 프리티어 사용 가능한 CPU 1개인 t2.micro로 처음에 실행했을 땐 서버가 과부화되고 먹통이 됐다....

생각보다 약한 t2.micro

 

t2.medium까지는 동작했다.