Сервер для моделей Mistral AI

Mistral AI выпускает разнообразные открытые модели под Apache 2.0 лицензией:

• Mistral 7B: Эталонная маленькая модель, превосходит Llama 2 13B на большинстве бенчмарков. 4-8GB VRAM.
• Mistral Nemo 12B: Новая модель с 128K контекстом, мультиязычная, оптимизирована под function calling.
• Mixtral 8x7B: MoE архитектура - 47B параметров суммарно, 13B активных. Качество уровня Llama 2 70B при скорости 13B.
• Mixtral 8x22B: Флагман с открытыми весами - 141B суммарно, 39B активных. Конкурент Llama 3 70B.
• Codestral 22B: Специализированная модель для генерации кода на 80+ языках программирования.
• Mistral Small/Medium/Large: Закрытые коммерческие модели через API, конкурируют с GPT-4.

Anubiz Host рекомендует Mixtral 8x7B как оптимальный выбор для большинства задач - сочетает качество, скорость и разумные требования к железу.

Архитектура MoE радикально меняет экономику LLM-инференса:

• Sparse activation: Из 8 экспертов на каждом слое активируются только 2. Реальные вычисления как у 13B модели.
• Память vs скорость: Все 47B весов должны быть в VRAM или RAM, но скорость генерации соответствует 13B.
• Качество: Каждый эксперт специализируется на своих типах данных - код, математика, языки, факты.
• Router network: Маленькая сеть выбирает экспертов на лету в зависимости от входного токена.
• Квантизация: Mixtral 8x7B в Q4_K_M весит 26GB - помещается в RTX 3090 24GB с активным offloading.
• Multi-GPU: Эксперты можно распределить по нескольким GPU через tensor parallelism.

На сервере с 2x RTX 4090 (48GB суммарно) Mixtral 8x7B работает на скорости 80-100 токенов в секунду - быстрее, чем GPT-4 в API.

Два основных подхода к production-инференсу моделей Mistral:

• vLLM: PagedAttention и continuous batching обеспечивают максимальный throughput. Идеально для multi-user приложений с высокой нагрузкой.
• llama.cpp: Гибридный CPU/GPU инференс, квантизация до Q2-Q8, минимальные требования к железу.
• SGLang: Альтернатива vLLM с structured generation и RadixAttention. Удобен для агентов и tool use.
• TGI: Hugging Face Text Generation Inference - production-ready с Docker образами.
• Ollama: Простейший вариант для разработки - одна команда ollama run mixtral.

Anubiz Host разворачивает любой из этих стеков по запросу. Доступны Docker-образы с предконфигурированными моделями, мониторинг через Grafana и автоматический рестарт через systemd.