Network & Server Factory

개인 공부 기록

Project/홈랩

[홈랩] 홈랩 Kubernetes 클러스터 설계와 노드 배치 (2편)

1nfra 2026. 10. 28. 23:30
물리 호스트가 2대뿐인 홈랩에 Kubernetes 클러스터를 설계할 때 가장 먼저 부딪히는 문제는 마스터 노드를 몇 대 두고 어디에 놓느냐입니다. 저는 마스터 3대와 워커 4대로 클러스터를 만들고, API 주소를 처음부터 가상 IP로 정해 노드를 옮기거나 늘려도 주소가 바뀌지 않게 했습니다. 이 글에서는 마스터 수를 정한 기준, 두 호스트에 노드를 나눠 둔 방법, 노드 OS와 구성 요소를 고른 이유, 버전을 고르는 기준을 정리합니다. 홈랩 재구성 시리즈 2편이며, 이전 글은 홈랩 인프라 현황과 Kubernetes로 옮기는 이유입니다.

2편을 마친 시점의 구성입니다. Kubernetes 노드 7대를 두 호스트에 나눠 만들었고, 서비스는 아직 VM에서 동작합니다

1. 설계 조건

 

조건 내용
호스트 ESXi 호스트 2대, 메모리 각각 128GB와 64GB, 호스트 간 연결 속도 10Gbps
스토리지 호스트별 로컬 SSD, NAS의 NFS 볼륨
운영 혼자 운영하므로 자료가 많고 표준에 가까운 구성을 우선

 

마지막 조건이 대부분의 선택을 좌우했습니다. 물어볼 사람이 없으므로 문서와 사례가 많은 도구를 써야 결국 시간을 아낄 수 있습니다.

2. 마스터 노드는 몇 대로 할까

kubeadm 기본 구성에서는 클러스터 상태를 저장하는 etcd가 마스터에서 함께 실행됩니다. etcd는 과반수가 살아 있어야 쓰기를 처리하므로, 마스터 수에 따라 장애를 견딜 수 있는 노드 수가 정해집니다.

 

마스터 수 과반수 / 견딜 수 있는 장애
1대 1대 / 0대
2대 2대 / 0대
3대 2대 / 1대
4대 3대 / 1대 (3대와 같고 복제 비용만 늘어남)
5대 3대 / 2대

 

짝수는 한 대 적은 홀수와 견디는 장애 대수가 같으므로 마스터는 홀수로 두고, 홈랩에서는 3대로 정했습니다.

 

문제는 호스트가 2대라는 점입니다. 마스터 3대를 나누면 한쪽에 2대가 몰리고, 그 호스트가 멈추면 과반을 잃습니다. 4대를 2대씩 나누면 어느 쪽이 멈춰도 과반(3대)에 못 미쳐 더 나쁩니다.

호스트가 2대면 마스터 2대가 몰린 쪽이 멈출 때 과반을 잃으므로, 세 번째 장비가 있어야 완전한 이중화가 됩니다

 

완전한 이중화에는 세 번째 장애 영역이 필요합니다. NAS의 작은 VM이나 미니 PC에 마스터 1대를 두면 어느 장비가 멈춰도 2대가 남습니다. 지금은 이 장비가 없어 아직 완전한 이중화가 아니며, 장비를 마련하면 마스터를 나눠 둘 계획입니다.

3. 단계별로 나눠 만들기

노드도 VM이어서 나중에 vMotion으로 옮길 수 있습니다. 그래서 단계를 나눠 만들었습니다.

 

단계 내용
1단계 여유가 많은 호스트 1에 마스터 3대와 워커 2대로 클러스터를 만듦
2단계 호스트 2에 워커 2대를 추가하고, 마스터 1대를 vMotion으로 옮김
3단계 세 번째 장비를 마련해 마스터 1대를 옮김 (계획)

 

1단계에서는 API 주소를 처음부터 가상 IP로 정해야 합니다. 마스터 1대의 IP를 쓰면 그 주소가 인증서와 모든 노드 설정에 들어가, 나중에 마스터를 늘리거나 바꾸기 어렵습니다.

 

2단계에서는 서비스를 멈추지 않고 마스터를 옮겼고, 1초마다 확인한 API 응답 101건이 모두 정상이었습니다. 옮기기 전에는 해당 마스터가 etcd 리더인지, 가상 IP를 보유하고 있는지 확인합니다. 둘 중 하나라도 해당하면 옮기는 중에 리더 선출이나 가상 IP 이동이 일어납니다.

4. 노드 사양과 배치

 

노드 사양
마스터 3대 (호스트 1에 2대, 호스트 2에 1대) vCPU 2개, 메모리 4GB, 디스크 40GB
워커 2대 (호스트 1) vCPU 4개, 메모리 12GB, 디스크 80GB
워커 2대 (호스트 2) vCPU 4개, 메모리 8GB, 디스크 80GB

 

메모리가 64GB인 호스트 2는 워커에 12GB씩 주면 사용률이 약 92%가 되므로 8GB로 줄였습니다. Kubernetes는 노드별 할당 가능 자원을 보고 Pod를 배치하므로 사양이 달라도 됩니다.

 

워커를 호스트마다 2대씩 두어, 마스터 과반이 유지된다면 한 호스트가 멈춰도 Pod를 다른 호스트의 워커에서 다시 실행할 수 있습니다. 상태가 있는 앱의 데이터는 NAS의 NFS에 두므로 Pod가 어느 노드에서 실행되든 데이터에 접근할 수 있습니다.

5. 노드 OS

 

항목 Ubuntu 24.04 / Rocky 9
자료 Kubernetes 자료가 가장 많음 / 기업 온프레미스에서 많이 씀
커널 6.8, eBPF를 쓰는 Cilium에 유리 / 5.14
보안 모듈 AppArmor / SELinux, 설정할 것이 더 많음
지원 기간 2029년 4월(Ubuntu Pro 2034년) / 2032년 5월

 

지원 기간은 Rocky 9가 길지만, 자료가 많고 커널이 새로운 Ubuntu 24.04를 골랐습니다. Ubuntu 26.04 LTS는 아직 Kubernetes와 함께 쓴 사례가 적어 제외했습니다.

6. 구성 요소 선택

 

영역 선택과 이유
설치 도구 kubeadm, 공식 도구라 자료가 많음
컨테이너 런타임 containerd, 가장 널리 쓰임
API 가상 IP kube-vip, 로드밸런서 VM 없이 마스터끼리 가상 IP를 넘겨받음
네트워크(CNI) Cilium, eBPF 기반, kube-proxy 대체와 Gateway API 구현 지원
외부 노출 Cilium Gateway API, ingress-nginx는 2026년 3월에 유지보수 종료
LoadBalancer MetalLB(L2), 서비스망 IP 10개를 Service에 나눠 줌
인증서 cert-manager, 발급과 갱신 자동화
배포 Argo CD, Git 저장소대로 클러스터를 맞추는 GitOps
이미지 저장소 클러스터 내부 registry, 직접 만든 이미지를 클러스터 안에서 받음
모니터링 기존 Zabbix 7.0의 Kubernetes 연동, VM과 클러스터를 한 화면에서 봄
스토리지 NAS NFS, 상태가 있는 앱의 데이터 저장

 

MetalLB가 서비스망 IP를 맡고, Gateway가 그 IP로 들어온 요청을 호스트 이름에 따라 나누어 로드밸런서 VM이 하던 일을 대신합니다. 모니터링은 Prometheus 기반 스택 대신 Zabbix를 이어 써서 확인할 화면을 하나로 유지했습니다. 서비스망에서 NAS로는 경로가 없어, 워커마다 NAS와 통하는 내부망 NIC를 따로 붙였습니다.

7. 버전 고르는 기준

  1. 나온 지 2주 이상 지난 릴리스만 쓴다
  2. 구성 요소끼리 공식적으로 지원하는 조합인지 문서로 확인한다

첫 기준에 따라 cert-manager는 나온 지 5일 된 1.21.3 대신 1.21.2를, kube-vip는 1.3 대신 1.2.4를 썼습니다.

 

두 번째 기준으로 Kubernetes 버전을 정했습니다. 정식 출시된 Cilium 1.20은 Kubernetes 1.36까지만 지원해, 1.37 대신 1.36.5를 설치했습니다. CNI 플러그인은 Pod 네트워크를 구성하므로 지원하지 않는 조합에서 문제가 생기면 원인을 찾기 어렵습니다. 클러스터를 만들기 전에 확인하면 패키지 버전만 바꾸는 것으로 끝납니다.

 

구성 요소 버전
Kubernetes 1.36.5
Cilium 1.20.2
containerd 2.2.1
kube-vip 1.2.4
MetalLB 0.16.1
Gateway API 1.6.1 (Cilium 1.20.2 문서 기준 버전)
cert-manager 1.21.2
Argo CD 3.5.5

 

Cilium 1.21이 정식 출시되면 Kubernetes 1.37로 올릴 계획입니다. 다음 글에서는 이 클러스터로 첫 서비스를 옮긴 과정을 정리하겠습니다.

8. 정리

  • etcd는 과반수가 살아 있어야 동작하므로 마스터는 홀수, 홈랩에서는 3대가 알맞습니다.
  • 호스트가 2대면 완전한 이중화에 세 번째 장비가 필요합니다.
  • API 주소는 처음부터 가상 IP로 정해야 마스터를 늘리거나 옮기기 쉽습니다.
  • 노드는 한 호스트에 먼저 만들고 vMotion을 이용해 서비스 중단 없이 두 호스트에 나눠 배치했습니다.
  • 자료가 많은 Ubuntu 24.04와 표준 도구를 골랐고, 버전은 나온 지 2주가 지난 릴리스 중 공식 지원 조합만 씁니다.

참고

728x90
서울
--:--:--
-전체 글
-카테고리
누적 조회수