JENKINS_HOME is almost full 해결 - VM 용량확장
동아리 활동 관련해서 CI/CD를 구축할 일이 생겨서 간만에 젠킨스에 접속해 보았는데, 디렉토리 공간이 부족하다는 경고가 떠서 이를 해결해보도록 하겠다.
각 프로젝트의 오래된 로그를 제거
빌드할때마다 로그라던지를 기록하는데, 로그를 삭제하지 않기 때문에 가만히 내버려두고 있으면 파일이 점점 쌓인다.
Pipeline > 구성 > 오래된 빌드 삭제 를 통해서 먼저 사용하지 않는 파일들부터 비워주도록 하자.
이렇게 삭제하려고 하는데 오류가 발생한 경우는 보다 까다로운 경우로, 거의 다 찬 것이 아니라 꽉 찬 것이기 때문에 더이상 jenkins 내부에서 해결할 수 없다.
VM 용량 확장하기
나 같은 경우는 /var/jenkins_home 경로를 bind를 통해서 로컬 머신이랑 묶어놓았기 때문에, 도커 환경 내부에서 용량이 부족했던 것이 아니라 도커를 구동하고 있는 호스트 머신에서의 용량까지 전부 사용하면서 문제가 발생한 것이었다.
호스트 머신 자체도 proxmox 위에서 가상화되어서 운영되고있기 때문에, 가장 먼저 proxmox 상에서 저장공간 확장을 진행했다.
VM > Hardware > Hard Disk (sata0) > Disk Action > Resize 항목에서 용량을 추가로 할당해주면 된다.
나는 넉넉하게 128기가로 잡아줬다.
이 후 재부팅 하면 용량 확장 자체는 되지만, 그 공간을 제대로 사용하지 못하기 때문에 추가적인 설정이 필요하다. VM의 터미널에 붙어서 lsblk 명령어로 공간을 확인해 보면, 몇번의 수정을 거치면서 용량이 엉망진창이다만, 간단히 보자면
ubuntu--vg-ubuntu--lv 가 jenkins가 사용하게 되는 logical volume인데, 여기에 공간이 제대로 할당되지 않은 것이다.
cfdisk
우선 이 문제를 해결하기 위해서, 128기가로 설정해준 용량을 sda3에 할당해주어야 한다.
sudo cfdisk 를 입력, 파티션 크기를 확장한다./dev/sda3 선택 후 Resize 를 고르면, 알아서 확장 가능한 가장 큰 용량을 제시해주니 그대로 선택해준다.
/dev/sda3 이 126기가로 용량이 확장된 것을 확인한 뒤, Write 후 Quit 으로 나오면 된다.
파일시스템 변경 후에는 시스템 재시작을 한번 해주도록 하자.
파일시스템 변경 후에 용량을 확보해 주기 위해서,
sudo pvresize /dev/sda3을 입력해 준다.
lvextend
이제 논리 볼륨(logical volume) 이 들어갈 물리적인 공간이 마련되었으니, 실제로 논리 볼륨의 크기를 키워주면 된다. 논리 볼륨의 크기를 확장시키는 명령어는 lvextend로, 대부분의 경우 확장해야 하는 논리 볼륨이 ubuntu--vg-ubuntu--lv 이기 때문에 아래 명령어를 입력해서 확장해주도록 하자.
sudo lvextend -l +100%FREE /dev/mapper/ubuntu--vg-ubuntu--lv
sudo resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv남는 공간의 100%를 전부 해당 논리 볼륨에 추가하라는 명령어다.
이 모든 과정을 거친 뒤에 LV가 정상적으로 126기가의 넓은 공간을 확보한 것을 확인해주고, jenkins를 재시작 해본다.
경고 메시지가 온데간데 없고, 보안패치하라는 문구만이 남아있는것을 확인할 수 있다.
결론
사실 캐시가 뭐 엄청나게 많이 쌓였다기 보다는 기존에 할당했던 공간인 32기가가 너무 물리적으로 작지 않았나 하는 생각이 든다. 128기가로 조금 널널하게 할당해 두었으니 오래 버티지 않을까 싶고 이번에도 용량이 꽉 차게 된다면 뭔가 구조적인 문제로 인할 가능성이 높으니 그때 가서 추가적인 조치를 취해봐도 괜찮을 것 같다.
docker system prune -a -f명령어를 통해서 이미지 캐시도 일부 날려봤는데, 나에게 딱히 큰 효과는 없었으나 빌드 기록이 꽤나 많이 쌓였다면 유용할 것 같다.
위 명령어는 도커에서 빌드할때 사용하는 이미지들을 싹 날려버리는 명령어이기 때문에, 타 이미지를 구동시킬때 영향을 줄 수도 있으니 주의해야 할 것이다. 내 환경 상에서는 현재 사용중인 이미지 4개를 제외한 이미지를 모두 삭제한 것을 확인할 수 있다.
이제 마저 CI/CD를 구축하러 가보도록 하겠다...