Сервер для тренировки ML-моделей

В отличие от inference, training требует значительно больше памяти и compute:

• VRAM для модели: Параметры модели в FP32 - 4 байта на параметр. Llama 7B = 28GB только веса.
• Оптимизатор: Adam хранит momentum и variance - 8 байт на параметр (FP32). Llama 7B = +56GB.
• Градиенты: Ещё 4 байта на параметр. Llama 7B = +28GB.
• Активации: Зависят от batch size и длины последовательности. Может быть больше всего остального.
• Mixed precision: BF16/FP16 для весов снижает требования в 2 раза. Master weights в FP32 для стабильности.
• Gradient checkpointing: Trade-off compute против памяти - перевычисление активаций вместо хранения.
• ZeRO Stage 3: DeepSpeed распределяет параметры, градиенты, оптимизатор по GPU. Linear scaling.
• FSDP: PyTorch native альтернатива ZeRO. Поддержка от Hugging Face Accelerate.

Anubiz Host подбирает конфигурацию multi-GPU под конкретную модель и dataset.

Серьёзное обучение требует нескольких GPU и правильной топологии:

• Data parallel (DP): Каждый GPU имеет полную копию модели, разные батчи. Простейший вариант, но не масштабируется свыше 8 GPU.
• Distributed Data Parallel (DDP): Современный стандарт PyTorch. AllReduce градиентов через NCCL.
• Tensor parallel: Разбиение матричных операций по GPU. Megatron-LM подход для больших моделей.
• Pipeline parallel: Разные слои на разных GPU. GPipe, PipeDream. Эффективно для очень глубоких моделей.
• 3D parallelism: Комбинация TP + PP + DP для frontier моделей вроде GPT-3/GPT-4 уровня.
• NVLink: 600 GB/s между GPU вместо 32 GB/s через PCIe. Критично для tensor parallelism.
• InfiniBand: 200-400 Gbps между нодами для multi-node training. Anubiz Host поддерживает по запросу.
• NCCL tuning: Topology awareness, ring vs tree алгоритмы, оптимизация под конкретную топологию.

Anubiz Host собирает multi-GPU ноды 2x, 4x, 8x с NVLink для production training.

Эффективный training - это не только GPU. Окружение критично:

• Хранилище: NVMe RAID для random reads dataset. 1M+ small files требуют tuning файловой системы.
• Data loading: Многопоточный DataLoader с prefetching, чтобы GPU не простаивал.
• WebDataset / FFCV: Tar-shards для эффективного streaming больших датасетов.
• Mixed precision: Autocast и GradScaler для FP16/BF16 обучения - 2x speedup без потери качества.
• Flash Attention: 2-4x ускорение трансформеров через optimized attention computation.
• Wandb / TensorBoard / MLflow: Tracking экспериментов, hyperparameter tuning, model versioning.
• Checkpointing: Сохранение модели каждые N шагов с DeepSpeed/FSDP checkpoint sharding.
• S3-совместимое хранилище: MinIO локально или внешний S3 для архива checkpoints и финальных моделей.

Anubiz Host предоставляет 1-10TB NVMe + 1Gbps gigabit сеть. Возможна интеграция с external S3 (Wasabi, B2).