Сервер для развёртывания моделей Hugging Face

На сервер устанавливается transformers, diffusers, accelerate, datasets и tokenizers через pip без каких-либо ограничений. Драйверы NVIDIA и CUDA Toolkit ставятся стандартным способом и совместимы с любой версией PyTorch или TensorFlow. Hugging Face CLI работает через стандартный HTTP, что позволяет скачивать модели приватного и публичного репозитория с авторизацией через персональный токен. Никаких ограничений на исходящий траффик к huggingface.co не накладывается.

Для серьёзных проектов рекомендуется поднять собственный Hugging Face Hub зеркало через локальный кеш или использовать text-generation-inference и инфраструктурные образы для production. Поддерживается работа со всеми типами моделей: causal LM, masked LM, seq2seq, encoder, decoder, vision transformers, diffusion и audio. Также работают полные пайплайны через pipeline API, что упрощает быстрые эксперименты.

Маленькие модели уровня BERT, distilGPT2 или Whisper tiny работают даже на CPU, но для production рекомендуется GPU с 8 ГБ VRAM. Модели среднего размера, такие как Llama 7B, Mistral 7B, FLUX schnell, требуют GPU с 12 до 16 ГБ. Большие модели типа Llama 70B, Mixtral 8x22B, Qwen 72B нуждаются в GPU 24 ГБ и больше, либо в распределённом инференсе на нескольких картах. Наши тарифы поддерживают все эти варианты.

Для multimodal моделей, таких как LLaVA, MiniGPT-4, Qwen-VL, требуется как мощный GPU, так и значительная оперативная память на хосте для обработки изображений и видео. Стандартная NVMe конфигурация на 500 ГБ позволяет хранить локально 5 до 15 крупных моделей одновременно. Если нужно больше, доступны расширения до 2 ТБ NVMe и более на dedicated тарифах.

Hugging Face не имеет жёстких политик на содержимое моделей, но облака, которые их хостят, часто ограничивают, особенно для NSFW и моделей с потенциально оскорбительным содержимым. AnubizHost предоставляет нейтральную инфраструктуру без content filtering. Все модели, которые могут быть скачаны с Hugging Face Hub, могут быть запущены на наших серверах без ограничений, кроме материала, попадающего под международные нормы CSAM.

Дообучение на приватных датасетах также полностью под вашим контролем. AnubizHost не имеет доступа к содержимому VM, не сканирует диски и не передаёт метаданные третьим сторонам без юридически обязывающего запроса в юрисдикции дата-центра. Для дополнительной защиты можно шифровать диск через LUKS, хранить датасеты на внешних S3 совместимых backed с собственным ключом и использовать VPN для доступа к серверу.