docker 2

[Ciaolabella] 디스크가 점점 쌓인다...!

발견하면서.. 최근에 디스크에 용량이 가득 차 worker1rasp 노드가 죽는 현상이 발생했다. 최초 발견은 Django-Mongo 연결 실패를 확인 후 해당 mongos가 올라가 있는 노드에 접속을 해봤다. 원래 해당 노드는 32GB의 디스크를 가지고 있는 라즈베리파이 컴퓨터였는데, 디스크 사용량이 100%로 올라가면서 가지고 있던 프로세스가 전부 종료가 된 것이다. 일단 디스크 크기를 키우는 것이 우선 되어야 할 것이라 판단했고, 해당 노드의 디스크를 256GB로 교체해 주면서 1차적으로 해결 해 놓은 상태다. 일단 이를 심각하게 생각해야 하는 점은 우리가 서비스 도중에 일어난 상황이 아니라(물론 이랬다면 더 심각했을지도 모르지만..), 개발 도중 테스트를 발생했던 행동들에 의해 일어난 상황이라는 ..

Projects 2023.01.29

[Ciaolabella] worker5desk 노드를 살리기 위한 노력

몽고 클러스터를 구축하기 위해 docker-compose로 컨테이너를 실행하고자 했으나 worker5desk 노드에서 치명적인 결함들이 속속히 발견됐다. 네트워크는 불안정 했고, journalctl이 원인으로 추청 되는 디스크 보호 모드 작동 등 많은 일들이 어제 새벽 동안 발생했다. 사실 그동안 프로젝트가 끝나고 해당 노드는 계속 재시동 한번 없이 계속 꺼뒀던 상태 인지라, 갑작스럽게 여러 문제가 겹쳐 발생하니 당황스러웠다. 시작은 간만에 킨 가상머신 안에서 docker-compose를 실행시키기 전에 발생 했는데 Read only File System으로 변한 것은 docker network create 명령어를 실행시키면서 알게 됐다. 언제부터 해당 디스크가 보호모드로 작동됐는지 확인하기 위해선 마..

Projects 2023.01.29