Сервер для Llama 3 с GPU и приватным инференсом

Llama 3 8B в FP16 занимает около 16 ГБ VRAM, в квантизации Q4_K_M около 5 ГБ. Это позволяет запустить её даже на карте с 8 ГБ VRAM при использовании llama.cpp или Ollama. Llama 3 70B в FP16 требует примерно 140 ГБ, что не помещается на одну карту, но в квантизации INT4 опускается до 40 ГБ и комфортно работает на двух картах RTX 4090 или на одной A100 80 ГБ, если такая доступна. Наши тарифы охватывают весь диапазон.

Помимо VRAM важна оперативная память хостовой системы, поскольку часть весов и KV кеша может оффлоадиться в RAM. Минимум 32 ГБ для 8B моделей, от 128 ГБ для 70B в распределённом режиме. NVMe SSD на 500 ГБ и больше позволяет хранить несколько разных версий и квантизаций без постоянной выгрузки. Сетевой канал 1 Гбит/с покрывает первичную загрузку весов с Hugging Face за пять минут.

Самый простой путь это Ollama, который скачивает и запускает модель одной командой. Для production используется vLLM или Text Generation Inference, обеспечивающие высокий throughput и continuous batching. llama.cpp подходит для смешанной CPU и GPU нагрузки и для оптимизированного исполнения квантизованных моделей на скромном железе. HuggingFace Transformers через accelerate подходит для гибких пайплайнов и кастомных приложений.

Для веб интерфейсов хорошо работают Open WebUI, LobeChat и AnythingLLM. Они подключаются к локальному API сервера и предоставляют чат, RAG и agentic возможности. Команды также любят связывать Llama с LangChain или LlamaIndex для построения собственных AI ассистентов, работающих над приватной базой документов без отправки данных во внешние API.

Если вы делаете больше нескольких миллионов токенов в месяц через API, фиксированный месячный платёж за сервер быстро становится дешевле. Llama 3 70B на собственном сервере даёт результат сопоставимый с GPT 3.5 и приближается к GPT 4 на ряде задач, особенно после файнтюна под конкретный домен. При этом данные не покидают вашу инфраструктуру, что критично для юридических, медицинских и финансовых проектов.

Самохостинг также решает проблему географической доступности. OpenAI и Anthropic не работают в России и Иране, ограничивают использование в Беларуси и других странах. Свой Llama сервер в офшорной юрисдикции открывает доступ к топовому AI для команд из любого региона. Оплата криптой дополнительно решает проблему отсутствия рабочих международных карт у клиентов из санкционных юрисдикций.