¶ Physical Server
- 2025년 6월경에 지인으로부터 데스크탑 한 대를 구매함. 사양은 다음과 같음:
- MainBoard : H97-Plus
- CPU : I7-4790 @ 3.60GHz
- MEM : Samsung 8192MB 1600Mhz (DDR3) x 4ea
- Disk : Intel SSDSC2 BB600G4L (600GB)
- GPU : GTX 1050 TI (GP107)
- On-Premise 환경의 테스트 서버 용도로 활용할 때 다음의 장점이 있다고 생각했음:
- 4코어 8스레드의 CPU면 실제 소규모 서비스 운영에도 사용되는 스펙이니 개발 환경에는 충분하며, Intel VT-x를 통한 하드웨어 가상화도 지원함.
- 32GB의 램이면 여러 가상 머신 및 컨테이너를 동시에 실행하기에 충분하므로 하나의 마스터 노드와 여러 워커 노드를 구축하기 충분함.
- SATA 방식 SSD라 NVMe M.2 SSD보다는 느리지만 HDD보다는 빠르므로 프로그램 실행 속도가 빠름.
- 보급형 그래픽카드도 존재하여 동영상 트랜스코딩, 소규모 AI 및 GPU 컴퓨팅 작업이 가능할 것이라고 생각했음.
- Ubuntu 24.04.1 LTS (Kernal 6.8.0-71-generic)으로 OS 설치한 후에, Xen 하이퍼바이저 및 툴을 설치함.
grep -E "(vmx|svm)" /proc/cpuinfo로 하드웨어 가상화 지원 여부 확인 가능.- GRUB 설정 파일 (
/etc/default/grub)을 편집하여 부트로더를 설정. (bootloader = '/usr/lib/xen-4.11/bin/pygrub') - 네트워크 인터페이스 설정 파일 (
/etc/network/interfaces)에 브리지 설정 추가. - 시스템 재부팅 후에 Dom0 설정 파일을 생성하여 VM 생성.
¶ Xen Hypervisor
- Xen은 하나의 물리 서버에서 여러 VM을 동시에 실행하게 해주는 전가상화 기술.
- Xen 하이퍼바이저는 하드웨어에 직접 설치되는 베어메탈 Type-1임. 그러므로 가상화 계층 오버헤드가 매우 얇음.
- 처음으로 생성된 Dom0는 Linux를 기반으로 하는 관리용 특권 도메인.
- 그 다음으로 생성되는 DomU는 일반 사용자 도메인으로, 가상 머신들로 관라받게 됨.
- XenStore은 이 도메인 간 통신을 위한 정보를 저장하는 저장소.
- DomU의 설정을 직접 커스텀마이징 가능하는 Para-virtualization을 지원함.
etc/xen/{VM 이름}으로 VM 설정 파일을 보관. CPU, Memory, Disk, Network Interface를 수정함.- 디스크는 물리적 디스크를 추상화한 LVM으로 관리. (물리적 디스크 → 물리적 볼륨 (PV) → 볼륨 그룹 (VG) → 논리적 볼륨 (LV))
- 네트워크 인터페이스는 브리지 설정에 추가한 브리지를 활용함.
- 외부에서
pocj8ur4in.co.kr로 접근할 때 gateway VM으로 접근할 수 있도록 함.- kubectl을 통해 각 노드를 관리 가능하며,
/k8s에 매니페스트 파일을 위치시킴. /git에는 clone한 레포지토리를 위치시켰으며, 이를 위해 필요한 서비스를 설치하여 관리할 예정.
- kubectl을 통해 각 노드를 관리 가능하며,
- nginx VM는 Nginx Proxy Manager를 docker로 실행하여 Nginx 리버스 프록시를 관리함.
- pocj8ur4in.co.kr 및 서브도메인들을 하나의 서버에서 관리하는 웹 프록시 역할을 수행함.
- Let's Encrypt가 통합되어 SSL 인증서 자동 발급이 되는 것이 매우 편리함.
¶ Kubernetes
k8s 기술에 대한 설명은 해당 문서에 작성하였으므로, 여기선 설치 과정 및 구축한 네임스페이스 및 리소스만 다룸.
- Xen으로 4개의 Guest VM을 생성하고 마스터 노드 1개와 워커 노드 3개를 구축함.
- 각 VM에 컨테이너 런타임 (containerd) 및 kubernets 패키지 (kubeadm, kubelet, kubectl) 설치.
- k8s-01에 마스터 노드 초기화 및 네트워크 플러그인 (Calico) 설치한 다음에 워커 노드를 조인함.
- etcd, api server, scheduler가 k8s-01 하나에서만 실행되는 단일 마스터 노드로 단일 장애점 (SPOF) 위험이 존재함. → 부하 분산 및 데이터 안정성을 위해 HA 클러스터로 업그레이드할 수 있으나 소규모 워크로드에서는 적합하지 않다고 판단하였음.
¶ postgresql
- ACID 트랜잭션을 지원하는 오픈소스 RDBMS로, 현재 주로 쓰고 있는 golang과 궁합이 좋아서 네임스페이스로 분리해둠.
- 우선 각 서비스 구축 시에 사용자와 데이터베이스를 생성하는 단일 인스턴스로 작업할까 생각하는 중.
- wiki.js는 postgresql를 지원해서 이미 붙어둠. (grafana 연결은 진행하지 않았음.)
- 성능 최적화를 위한 튜닝 작업도 가능하다고 들었는데 아직 진행하지 않았음. 추후 서비스를 구축할 때 심도 있게 다룰 예정.
¶ redis
- key-value 형식의 인메모리 데이터 구조 저장소로, golang으로 작업한 경험이 있어 가져옴.
- 이것 역시 postgresql처럼 단일 인스턴스로 작업할 예정.
- 원래 mongo를 사용하려고 했는데 메모리를 너무 많이 차지해서 대신 redis를 올려둠.
- 어플리케이션의 캐싱 및 세션 구현이나 Pub/Sub, Stream 등 다양한 데이터 구조를 활용해볼 예정.
¶ prometheus, grafana
- 시계열 데이터베이스 기반 모니터링 및 데이터 시각화 도구로, 회사에서 쓰이는 기술이라 배울 겸 가져옴.
- 현재 전체 시스템 리소스 사용률과 k8s 클러스터 노드 및 파드 상태를 모니터링하는 데에 사용되고 있음.
- 서비스 알림 설정 및 플러그인 추가가 가능한데, 현재는 서비스 상태 모니터링은 일단 빼둠.
¶ wiki.js
- 현재 작성 중인 위키 소프트웨어로, 개인 기록 목적으로 사용하고 있음.
- 마크다운 형식 지원이 된다는 점에서 만족스럽고, 인증이나 접근 제어도 잘 동작함.
- 무엇보다 문서에 대한 버전 관리가 된다는 점이 좋음. 다만 git 연결이 가능하다는데 이상하게 잘 되지 않아서 로컬로 하는 중임.
- helm을 통해 k8s 배포를 하였으며, value와 pvc 파일만 만들어서 deploy 작업을 함.
¶ Architecture
- 현재까지 구현한 전체 아키텍처를 그려보면 다음과 같음.
Physical Server
└── OS: Ubuntu 24.04.1 LTS
└── Xen Hypervisor
├── Domain-0: Dom0
└── Guest VM
├── gateway: DomU for gateway
├── nginx: DomU for nginx proxy manager
├── k8s-01: DomU for k8s master node
│ └── k8s Namespace
│ ├── kube-system: System Component
│ │ ├── k8s DaemonSet
│ │ │ ├── calico-node: Network Node
│ │ │ └── kube-proxy: Netwok Proxy
│ │ └── k8s Deployment
│ │ ├── calico-kube-controllers (1/1): Network Controller
│ │ ├── coredns (2/2): DNS server
│ │ ├── etcd (1/1): Cluster Data Storage
│ │ ├── kube-apiserver (1/1): API Server
│ │ ├── kube-controller-manager (1/1): Controller Manager
│ │ └── kube-scheduler (1/1): Scheduler
│ ├── metallb: Load Balancer
│ │ └── k8s DaemonSet
│ │ └── speaker: MetalLB Speaker
│ └── monitoring: Monitoring Component
│ └── k8s DaemonSet
│ └── node-exporter: Node Meteric Exporter
├── k8s-02: DomU for k8s worker node
│ ├── k8s StorageClass
│ │ └── k8s-02-storage
│ │ └── k8s PV
│ └── k8s Namespace
│ ├── kube-system: System Component
│ │ └── k8s DaemonSet
│ │ ├── calico-node: Network Node
│ │ └── kube-proxy: Netwok Proxy
│ ├── metallb: Load Balancer
│ │ ├── k8s DaemonSet
│ │ │ └── speaker: MetalLB Speaker
│ │ └── k8s Deployment
│ │ └── controller (1/1): MetalLB Controller
│ └── monitoring: Monitoring Component
│ └── k8s DaemonSet
│ └── node-exporter: Node Meteric Exporter
├── k8s-03: DomU for k8s worker node
│ ├── k8s StorageClass
│ │ └── k8s-03-storage
│ │ └── k8s PV
│ │ ├── postgresql-pv (30Gi)
│ │ │ └── k8s PVC
│ │ │ └── postgresql-pvc (30Gi)
│ │ ├── mongo-pv (10Gi)
│ │ │ └── k8s PVC
│ │ │ └── mongo-pv (10Gi)
│ │ ├── redis-pv (10Gi)
│ │ │ └── k8s PVC
│ │ │ └── redis-pv (10Gi)
│ │ ├── mysql-pv (3Gi)
│ │ │ └── k8s PVC
│ │ │ └── mysql-pvc (3Gi)
│ │ └── vscode-pv (10Gi)
│ │ └── k8s PVC
│ │ └── vscode-pvc (10Gi)
│ └── k8s Namespace
│ ├── kube-system: System Component
│ │ └── k8s DaemonSet
│ │ ├── calico-node: Network Node
│ │ └── kube-proxy: Netwok Proxy
│ ├── metallb: Load Balancer
│ │ └── k8s DaemonSet
│ │ └── speaker: MetalLB Speaker
│ ├── monitoring: Monitoring Component
│ │ └── k8s DaemonSet
│ │ └── node-exporter: Node Meteric Exporter
│ ├── postgresql: postgres/postgres
│ │ └── k8s Deployment
│ │ └── postgresql (1/1)
│ ├── mongo: mongodb/mongo
│ │ └── k8s Deployment
│ │ └── mongo (1/1)
│ ├── redis: redis/redis
│ │ └── k8s Deployment
│ │ └── redis (1/1)
│ ├── nginx: nginx/nginx
│ │ └── k8s Deployment
│ │ └── nginx (1/1)
│ ├── vscode: microsoft/vscode
│ │ └── k8s Deployment
│ │ └── vscode (1/1)
│ └── mysql: mysql/mysql-server
│ └── k8s Deployment
│ └── mysql (1/1)
└── k8s-04: DomU for k8s worker node
├── k8s StorageClass
│ └── k8s-04-storage
│ └── k8s PV
│ ├── grafana-pv (10Gi)
│ │ └── k8s PVC
│ │ └── grafana-pvc (10Gi)
│ ├── prometheus-pv (10Gi)
│ │ └── k8s PVC
│ │ └── prometheus-pv (10Gi)
│ └── wiki-js-pv (10Gi)
│ └── k8s PVC
│ └── wiki-js-pv (10Gi)
└── k8s Namespace
├── kube-system: System Component
│ └── k8s DaemonSet
│ ├── calico-node: Network Node
│ └── kube-proxy: Netwok Proxy
├── metallb: Load Balancer
│ └── k8s DaemonSet
│ └── speaker: MetalLB Speaker
├── monitoring: Monitoring Component
│ ├── k8s DaemonSet
│ │ └── node-exporter: Node Meteric Exporter
│ └── k8s Deployment
│ ├── grafana (1/1)
│ └── prometheus (2/2)
├── dashboard: kubernetes/dashboard
│ └── k8s Deployment
│ ├── dashboard (1/1)
│ └── dashboard-metrics-scraper (1/1)
├── wiki: requarks/wiki
│ └── k8s Deployment
│ └── wiki (1/1)
└── nginx: nginx/nginx
└── k8s Deployment
└── nginx (1/1)