DevOps

Kafka version : 3.0.10 spring-kafka 공식문서를 많이 읽어보자. https://docs.spring.io/spring-kafka/reference/index.html Overview :: Spring Kafka Copies of this document may be made for your own use and for distribution to others, provided that you do not charge any fee for such copies and further provided that each copy contains this Copyright Notice, whether distributed in print or electronically. docs.spr..

카프카 Kafka Apache Kafka는 이벤트 기반 분산 시스템으로, 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합을 위해 사용하는 오픈 소스 스트리밍 플랫폼이다. 카프카는 여러 메세지 큐를 기반으로된 분산 시스템이므로, 수평 확장이 가능한 구조이다. 서버의 규모에 따라 브로커, 파티션, 컨슈머를 늘려가며 유연하게 확장할 수 있다. 또한, 배치Batch전송이 가능한데, 여기서 배치 전송은 원하는 일정 크기를 묶어서 보내고, 묶어서 받는 구조이다. 전송할 자료가 10개가 있다면, 10개를 모두 일일이 보내는 10개의 전송이 이루어지는 방식보다, 한 번에 받기 때문에 처리량이 훨씬 좋다. 구조 1. 프로듀서 Producer Kafka에게 메세지를 만들어서 전송한다. 2. 컨슈머 Consumer ..

Docker를 이용해서 서버를 자동 배포를 설정해뒀는데.. 어느새 코드를 바꾼 내용이 적용되지 않았다.. 깃허브 문제인지, 코드 문제인지 여러 가설을 세우고 로그를 확인해 보다가.. Action 로그에서 다음을 발견했다..! Action 은 계속 성공했다고 나왔지만, 이런 에러가 숨어있었다.. (이럴거면 그냥 실패했다고 하지) 더이상 남은 용량이 없다고 나오는데, EC2의 용량을 다 쓸리가 없었다. 한 프로젝트가 들어간다고 모든 용량을 쓸 일이 없었다... 그래서 아래 명령어로 EC2 볼륨 사용량을 확인해보았다. df -hT /dev/xvda1 그런데 .. 볼륨의 96%를 이미 사용중이라고 나왔다 ..! 구글링하며 찾아보니.. 도커를 오랜 기간 pull 하고, run 하고 등등 사용하다 보면 오브젝트 파..

Amazon EC2 Linux환경에서 진행했다. 1. EC2에 Docker 설치 sudo yum update -y 시작하기 전에 yum 패키지를 모두 최신 버전으로 업데이트 해주었다. sudo yum install docker -y yum을 이용해서 docker를 설치했다. Docker 버전 확인 docker -v Docker 시작 sudo service docker start Docker 그룹에 ec2-user 를 넣어서 관리자 권한으로 실행할 수 있게 해준다. sudo usermod -aG docker ec2-user 최신 버전의 Docker Compose 설치 sudo curl -L https://github.com/docker/compose/releases/latest/download/docker..

오늘 학부 수업을 들으면서 프로세스에 관한 내용을 들었는데, 너무 유익한 내용인 것 같아서 정리하려고 한다.프로젝트를 잘 성공시키려면 개발의 퀄리티뿐만 아니라, 개발문서에도 시간을 투자해야 한다.   프로세스란?주어진 목적을 위해 수행되는 일련의 절차"내가 뭘 해야될지 정해져 있는 목차"현업에서 프로젝트를 진행할 때, 어떤 절차로 진행되는지 꼭 알아야 할 것이다.사이드 프로젝트여도, 어떤 프로젝트냐에 따라 맞는 프로세스를 선택하여 효율적으로 프로젝트를 진행해야 한다.프로세스를 잘 선택하면,소프트웨어의 개발 목표가 명확해진다.프로젝트의 실패를 막을 수 있다.소프트웨어의 품질은 프로세스의 품질에 의해 결정된다.   소프트웨어 개발 생명주기 (Software Development Life Cycle)소프트웨어..