TensorFlow сервер с GPU NVIDIA и CUDA поддержкой

На наших серверах легко развернуть любую версию TensorFlow начиная с 2.x. Базовый образ Ubuntu 22.04 или Debian 12 ставится за минуты, дальше через pip или conda устанавливается tensorflow или tensorflow-gpu. Для GPU работы требуется правильная связка CUDA Toolkit и cuDNN, обычно версия 11.8 или 12.x в зависимости от целевой версии TF. Мы предоставляем driver level доступ, что позволяет точно подобрать совместимый стек без конфликтов с предустановленным софтом.

Доступны карты NVIDIA RTX 4090, A4000, A5000 и dedicated тарифы с возможностью установки нескольких карт. Все они полноценно проброшены в VM через VFIO, без шеринга вычислительных ядер. Это обеспечивает реальную производительность в обучении и инференсе, идентичную bare metal. NVIDIA driver устанавливается стандартным способом, никаких нестандартных модификаций ядра не требуется.

Для production инференса доступны несколько подходов. TensorFlow Serving остаётся официальным сервером для отдачи моделей в формате SavedModel через gRPC и REST API, с поддержкой множественного версионирования и горячей загрузки. Альтернативой является NVIDIA Triton Inference Server, который умеет работать с моделями TensorFlow, PyTorch, ONNX и другими в одном пайплайне с балансировкой нагрузки. Оба сервиса запускаются через Docker и хорошо масштабируются горизонтально.

Если нагрузка нестабильна, можно использовать FastAPI или Flask wrapper вокруг TensorFlow модели и масштабировать поды через docker-compose или Kubernetes. Для batch инференса хорошо работают пайплайны через Apache Airflow или Prefect, которые запускают вычисления по расписанию. AnubizHost не вмешивается в выбор архитектуры и не блокирует никакие порты по умолчанию, кроме рекомендации настроить firewall на стороне VM.

Для обучения с нуля или fine tuning используются тарифы с одной или несколькими картами и значительным объёмом RAM. На серверах с двумя GPU поддерживается распределённое обучение через tf.distribute.MirroredStrategy, что почти удваивает скорость на больших батчах. Если модель не помещается в VRAM одной карты, доступна работа с mixed precision через tf.keras.mixed_precision, gradient checkpointing и model parallelism.

Для долгих тренировочных runs критична стабильность инфраструктуры. Наши дата-центры обеспечивают аптайм 99.95%, с резервированием питания и сетевых каналов. Регулярные snapshot диска можно настроить через cron на стороне VM или через интегрированные средства Proxmox, доступные на dedicated тарифах. Это защищает от потери результатов при долгих тренировках, которые могут идти неделями.