Ceph Storage VPS: Distributed Storage Tại Iceland

Ceph được thiết kế cho hạ tầng quy mô lớn, được dùng bởi CERN, ESA và nhiều nhà cung cấp cloud lớn. Tính năng nổi bật gồm self-healing tự động khi mất node, scale ngang gần như không giới hạn và hỗ trợ ba interface (block, object, file) trong cùng cluster.

Trên VPS offshore Iceland của AnubizHost, Ceph là lựa chọn lý tưởng cho ba scenario nâng cao. Thứ nhất, team DevOps cần storage backend cho cluster Kubernetes self-hosted với volume RWX. Thứ hai, lab nghiên cứu cần storage scale theo nhu cầu mà không bị giới hạn block volume mặc định. Thứ ba, dự án cần S3-compatible API riêng với khả năng scale TB lên PB.

Cluster Ceph tối thiểu cần 3 VPS để có quorum. Với 3 VPS Pro của AnubizHost mỗi node 8GB RAM và 200GB SSD NVMe, bạn có cluster Ceph với raw storage 600GB và usable storage 200GB khi replication 3x - đủ cho dự án vừa. Quyền root đầy đủ trên mỗi node là yêu cầu bắt buộc cho Ceph daemon. Thanh toán Bitcoin hoặc Monero giữ bí mật về quy mô storage và kiến trúc dữ liệu khỏi nhà cung cấp cloud truyền thống.

Cephadm là công cụ bootstrap chính thức của Ceph từ phiên bản Octopus trở đi. Trên VPS đầu tiên (node-1) từ AnubizHost:

apt update && apt install -y cephadm
cephadm bootstrap --mon-ip 10.0.0.1 --cluster-network 10.0.0.0/24

Lệnh này tạo MON, MGR và dashboard. Lưu lại admin password và URL dashboard hiển thị. Ceph cần private network giữa các node - dùng WireGuard VPN giữa 3 VPS AnubizHost để traffic Ceph không bao giờ đi qua public Internet.

Thêm 2 node còn lại:

ceph cephadm get-pub-key > /tmp/ceph.pub
ssh-copy-id -f -i /tmp/ceph.pub [email protected]
ssh-copy-id -f -i /tmp/ceph.pub [email protected]
ceph orch host add node-2 10.0.0.2
ceph orch host add node-3 10.0.0.3

Mỗi node cần ổ trống cho OSD - dùng block storage gắn thêm hoặc partition trống. Deploy OSD trên mọi disk available: ceph orch apply osd --all-available-devices. Ceph tự động phát hiện và tạo OSD daemon. Sau 5-10 phút cluster sẵn sàng với placement group được phân bố tự động qua CRUSH algorithm.

Pool là đơn vị phân chia logical trong Ceph. Tạo pool cho RBD (block storage):

ceph osd pool create kubernetes 32 32
ceph osd pool set kubernetes size 3
ceph osd pool application enable kubernetes rbd
rbd pool init kubernetes

Size 3 nghĩa là mỗi object có 3 bản sao trên 3 OSD khác nhau - dữ liệu sống sót khi mất 2 trong 3 node. CRUSH map kiểm soát cách Ceph phân bố replica. Mặc định CRUSH dùng failure domain là host, đảm bảo 3 bản sao luôn ở 3 host khác nhau.

Để tích hợp với Kubernetes (chẳng hạn K3s trên 3 VPS riêng của AnubizHost), cài Ceph CSI driver: kubectl apply -k github.com/ceph/ceph-csi/deploy/rbd/kubernetes. Tạo StorageClass trỏ tới Ceph cluster qua secret chứa client key. PersistentVolumeClaim của ứng dụng tự động provision RBD volume - mounted vào pod như block device thông thường.

Object Gateway (RGW) cung cấp S3 API tương thích AWS. Deploy: ceph orch apply rgw default. Tạo S3 user và endpoint dùng được với mọi SDK chuẩn. Monitoring qua Prometheus exporter built-in cung cấp metric về IOPS, latency và OSD health. Ceph dashboard tích hợp Grafana giúp visualize trạng thái cluster realtime - cảnh báo sớm khi có disk gần đầy hoặc OSD slow.