전체

Django와 uwsgi 배포 중 다음과 같은 문제가 발생했다.  $ sudo cat /var/log/nginx/error.log[crit] 1212317#1212317: *1 open() "/var/lib/nginx/tmp/uwsgi/1/00/0000000001" failed (13: Permission denied) while reading upstream, client: Server IP, server: domain.com, request: "POST /data HTTP/2.0", upstream: "uwsgi://unix:/run/uwsgi/application.sock:", host: "domain.com", referrer: "https://domain.com" 프론트 단에서는 HTTP2_PR..

카프카 Kafka Apache Kafka는 이벤트 기반 분산 시스템으로, 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합을 위해 사용하는 오픈 소스 스트리밍 플랫폼이다. 카프카는 여러 메세지 큐를 기반으로된 분산 시스템이므로, 수평 확장이 가능한 구조이다. 서버의 규모에 따라 브로커, 파티션, 컨슈머를 늘려가며 유연하게 확장할 수 있다. 또한, 배치Batch전송이 가능한데, 여기서 배치 전송은 원하는 일정 크기를 묶어서 보내고, 묶어서 받는 구조이다. 전송할 자료가 10개가 있다면, 10개를 모두 일일이 보내는 10개의 전송이 이루어지는 방식보다, 한 번에 받기 때문에 처리량이 훨씬 좋다. 구조 1. 프로듀서 Producer Kafka에게 메세지를 만들어서 전송한다. 2. 컨슈머 Consumer ..

Docker를 이용해서 서버를 자동 배포를 설정해뒀는데.. 어느새 코드를 바꾼 내용이 적용되지 않았다.. 깃허브 문제인지, 코드 문제인지 여러 가설을 세우고 로그를 확인해 보다가.. Action 로그에서 다음을 발견했다..! Action 은 계속 성공했다고 나왔지만, 이런 에러가 숨어있었다.. (이럴거면 그냥 실패했다고 하지) 더이상 남은 용량이 없다고 나오는데, EC2의 용량을 다 쓸리가 없었다. 한 프로젝트가 들어간다고 모든 용량을 쓸 일이 없었다... 그래서 아래 명령어로 EC2 볼륨 사용량을 확인해보았다. df -hT /dev/xvda1 그런데 .. 볼륨의 96%를 이미 사용중이라고 나왔다 ..! 구글링하며 찾아보니.. 도커를 오랜 기간 pull 하고, run 하고 등등 사용하다 보면 오브젝트 파..

Django 프로젝트를 uwsgi 프로토콜을 사용해서 배포를 하고, nginx와 연동했더니 staticfile들을 가져올 수 없었다. (404) 이유는 몇 가지가 있는데.. 1. debug = False로 배포하기 때문에 static파일 경로를 자동으로 가져오지 않는다. 2. uwsgi프로토콜 사용시 runserver가 아니기 때문에 static 파일 경로를 자동으로 가져오지 않는다. 테스트 하면서 runserver를 통해 서버를 구동하면 static을 잘 가져왔을텐데, 실제 배포했더니 그렇지 않았다. 그래서 nginx단에서 경로를 지정하고 처리하도록 했다. /etc/nginx/nginx.conf http { ... server { ... location /static { alias /home/ec2-u..

GitHub Action을 통해서 스프링 프로젝트를 Docker로 배포했는데, 문제가 발생했다. 1. GitHub에 올리지 않는 파일 - application.yml 적용 서버에 필요한 application파일을 프로젝트에 적용해야 했는데, raw 파일을 그대로 github에 올려서 프로젝트에 적용할 순 없었다. 따라서 GitHub Action 스크립트에 다음을 추가했다. gradle.yml ... - name: Set YML run: | mkdir -p src/main/resources echo "${{ secrets.APPLICATION_YML }}" | base64 --decode > src/main/resources/application.yml find src ... Action Secret에 미..

https://nginxstore.com/blog/nginx/nginx-%EC%84%B1%EB%8A%A5-%ED%99%95%EC%9E%A5%EC%9D%84-%EC%9C%84%ED%95%9C-%EC%84%A4%EA%B3%84-%EB%B0%A9%EB%B2%95/ NGINX는 Master Process아래 여러 worker와 helper가 있다. # ps -ef --forest | grep nginx root 32475 1 0 13:36 ? 00:00:00 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf nginx 32476 32475 0 13:36 ? 00:00:00 _ nginx: worker process nginx 32477 32475 0..