Сервер для инференса LLM с GPU и большим объёмом RAM

Модель на 7 миллиардов параметров в FP16 занимает примерно 14 ГБ только под веса, плюс контекстное окно требует ещё от 4 до 16 ГБ в зависимости от длины контекста и батча. Модель 13B выходит на 26 ГБ под веса, 70B требует около 140 ГБ для запуска в FP16 или 35 ГБ в квантизации INT4. Наши тарифы покрывают весь этот диапазон, от компактных конфигураций с одной картой A4000 для 7B и 13B моделей до серверов с двумя картами или дедикейтед нодов с 256 ГБ ОЗУ для семейства 70B.

Для инференса критична скорость памяти и пропускная способность шины. NVMe SSD позволяет загрузить чекпоинт 70B модели за минуту, против десяти минут на SATA. ОЗУ DDR4 ECC или DDR5 на хостовой машине гарантирует, что подкачка и работа с KV кешем не упрутся в bottleneck. Сетевая карта 1 Гбит/с стандарт, 10 Гбит/с по запросу, что важно для streaming инференса множеству одновременных пользователей.

Сервер ставится с чистым Ubuntu или Debian, дальше вы выбираете рантайм по вкусу. Популярные варианты включают vLLM для высокой пропускной способности и batched инференса, llama.cpp для CPU и GPU исполнения с квантизованными моделями GGUF, Text Generation Inference от Hugging Face для production API, Ollama для быстрой локальной разработки и переключения между моделями. Все они работают через стандартный nvidia-docker без необходимости специальной настройки гипервизора.

Также поддерживаются фреймворки для распределённого инференса, такие как Ray Serve и Triton Inference Server, если вам нужно балансировать нагрузку между несколькими картами или несколькими нодами. Мы не вмешиваемся в выбор стека и не предустанавливаем тяжёлые зависимости, потому что версии CUDA, PyTorch и драйверов критичны и зависят от вашей модели. Чистая основа даёт вам полный контроль.

Крупные облака начали фильтровать инференс по типу промптов и собирать логи запросов для нужд compliance команд и регуляторов. Это неприемлемо для проектов, работающих с приватной перепиской, медицинскими данными, юридическими консультациями или с аудиторией в санкционных юрисдикциях. AnubizHost не логирует траффик клиентских VM, не имеет доступа к содержимому запросов и не делится метаданными с третьими сторонами без юридически обязывающего запроса в той юрисдикции, где расположен сервер.

Криптооплата завершает контур приватности. Никакой банк, никакой платёжный процессор и никакая налоговая в стране клиента не видит факт оплаты конкретно за инфраструктуру для LLM. Это особенно важно для разработчиков из России, Ирана, Беларуси и других стран с ограниченным доступом к американским GPU облакам, где OpenAI и Anthropic просто не работают.