Сервер для Qwen LLM от Alibaba

Qwen 2.5 от Alibaba Cloud - одно из самых разнообразных семейств открытых LLM:

• Qwen 2.5 0.5B/1.5B/3B: Edge-модели для мобильных устройств и встраиваемых систем.
• Qwen 2.5 7B/14B: Сбалансированные модели для типового использования. 14B превосходит Llama 3 8B на большинстве задач.
• Qwen 2.5 32B/72B: Флагманские модели, 72B конкурирует с Llama 3.1 70B и GPT-4o-mini.
• Qwen 2.5 Coder: Специализированные версии 1.5B-32B для генерации кода. Превосходит DeepSeek-Coder и CodeLlama.
• Qwen 2.5 Math: Оптимизированы для решения математических задач. 72B решает олимпиадные задачи уровня IMO.
• Qwen 2 VL: Мультимодальные модели для работы с изображениями и видео.

Anubiz Host поддерживает все варианты Qwen через vLLM, llama.cpp и Ollama. Особенно рекомендуется Qwen 2.5 32B как лучшее соотношение качества и требований к VRAM.

Qwen изначально обучались на сбалансированном корпусе на 29 языках:

• Китайский: Лучшая в мире открытая модель для китайского - превосходит GPT-4 на CMMLU.
• Английский: На уровне Llama 3 и GPT-4o-mini на MMLU, HellaSwag, ARC.
• Русский: Существенно лучше Llama 3 на русскоязычных задачах. Понимает идиомы и культурный контекст.
• Японский, корейский, арабский: Качество выше всех открытых моделей.
• Контекст: 128K токенов на всех моделях от 7B и выше. Работа с большими документами без чанкинга.
• Function calling: Нативная поддержка инструментов и JSON-режима для агентов.

Для русскоязычных клиентов Qwen 2.5 32B часто оказывается более полезной, чем Llama 3 70B - меньше галлюцинаций на русском, лучше понимание сложных запросов.

Реальные требования для комфортной работы с разными размерами Qwen 2.5:

• Qwen 2.5 7B: 8-12GB VRAM в Q4, RTX 3060/4060 хватает. 80-120 токенов в секунду.
• Qwen 2.5 14B: 12-16GB VRAM в Q4, RTX 3090 или 4080. 50-70 токенов в секунду.
• Qwen 2.5 32B: 20-24GB VRAM в Q4, RTX 3090 24GB или 4090. 30-45 токенов в секунду.
• Qwen 2.5 72B: 48-50GB VRAM в Q4, 2x RTX 3090/4090 или A100 80GB. 15-25 токенов в секунду.
• Контекст 128K: Требует +5-10GB VRAM на kv-cache. Учитывайте при выборе железа.
• Multi-GPU: vLLM tensor parallelism для 72B на 2-4 GPU.

Anubiz Host подбирает оптимальную конфигурацию под ваш use case - чат, code generation, RAG или агенты.