Ceph хранилище на офшорных VPS: distributed storage кластер

Ceph - это распределённая система хранения, которая объединяет диски нескольких серверов в единый отказоустойчивый pool. Данные разбиваются на объекты, размещаются по нескольким OSD (Object Storage Daemon) с репликацией или erasure coding и автоматически перебалансируются при добавлении или выводе нод из кластера. Поверх pool работают три интерфейса. RBD (RADOS Block Device) даёт виртуальные блочные устройства, которые монтируются в Linux как обычные диски и идеальны под виртуальные машины или базы данных. CephFS - POSIX-совместимая файловая система, аналог NFS или SMB, но устойчивая к отказам узлов. RGW (RADOS Gateway) - S3 и Swift совместимое объектное хранилище. Преимущество Ceph - один и тот же физический pool обслуживает все три интерфейса. Anubiz Host позволяет собрать Ceph-кластер на нескольких офшорных VPS, что даёт корпоративный уровень устойчивости без зависимости от публичных облаков.

Production Ceph требует минимум трёх нод с одинаковой ролью monitor и трёх OSD-нод, чтобы выдерживать отказ одного узла без потери кворума. На VPS Anubiz Host практичная схема выглядит так: три VPS с 8 vCPU, 16 ГБ RAM и 1 ТБ NVMe каждый. На каждом VPS запускается mon, mgr и один OSD на /var/lib/ceph/osd. Развёртывание через cephadm занимает несколько часов: bootstrap первого узла командой cephadm bootstrap, добавление двух остальных через ceph orch host add, создание OSD на каждом узле, создание pool с size=3 и min_size=2 для трёхкратной репликации. После этого pool доступен через RBD для KVM/QEMU виртуализации, CephFS для файлового доступа или RGW для S3 API. Безлимитный трафик между нодами критичен: Ceph активно реплицирует данные между OSD, и метрированный трафик быстро превратится в счёт от провайдера. Anubiz Host даёт безлимит на всех планах.

Ceph-кластер требует внимания к нескольким моментам. Во-первых, журналирование: OSD пишет данные через write-ahead log (BlueStore wal/db), который должен быть на быстром NVMe для предсказуемой производительности. На VPS Anubiz Host все диски NVMe, поэтому проблема решается из коробки. Во-вторых, сетевая изоляция: трафик репликации между OSD должен идти по отдельному internal network, изолированному от клиентского трафика. Реализуется через WireGuard-туннель между VPS-нодами с отдельным CIDR. В-третьих, мониторинг: Ceph экспортирует обширные метрики через Prometheus exporter, которые подключаются к Grafana с готовыми дашбордами. В-четвёртых, шифрование: Ceph поддерживает encryption-at-rest на уровне OSD (osd_dmcrypt) и encryption-in-transit (msgr2 с шифрованием). Оба должны быть включены в production. В-пятых, регулярные scrub и deep-scrub для проверки целостности всех объектов. На NVMe-дисках scrub быстрый и не влияет на клиентскую нагрузку.