Сервер для Qwen LLM от Alibaba
Qwen - семейство открытых LLM от Alibaba Cloud, демонстрирующее результаты, превосходящие GPT-4 на многих бенчмарках. Anubiz Host предоставляет GPU-серверы для запуска Qwen 2.5 от 0.5B до 72B параметров, включая специализированные версии Qwen-Coder, Qwen-Math и Qwen-VL для мультимодальных задач. Анонимная регистрация без документов, оплата Bitcoin или Monero, офшорные юрисдикции в Исландии и Румынии. Особенно сильны Qwen на работе с китайским, русским, английским и кодом. Подходит для бизнеса, ориентированного на азиатские рынки, или для пользователей, которые хотят независимость от американских LLM.
Need this done for your project?
We implement, you ship. Async, documented, done in days.
Семейство моделей Qwen 2.5
Qwen 2.5 от Alibaba Cloud - одно из самых разнообразных семейств открытых LLM:
- Qwen 2.5 0.5B/1.5B/3B: Edge-модели для мобильных устройств и встраиваемых систем.
- Qwen 2.5 7B/14B: Сбалансированные модели для типового использования. 14B превосходит Llama 3 8B на большинстве задач.
- Qwen 2.5 32B/72B: Флагманские модели, 72B конкурирует с Llama 3.1 70B и GPT-4o-mini.
- Qwen 2.5 Coder: Специализированные версии 1.5B-32B для генерации кода. Превосходит DeepSeek-Coder и CodeLlama.
- Qwen 2.5 Math: Оптимизированы для решения математических задач. 72B решает олимпиадные задачи уровня IMO.
- Qwen 2 VL: Мультимодальные модели для работы с изображениями и видео.
Anubiz Host поддерживает все варианты Qwen через vLLM, llama.cpp и Ollama. Особенно рекомендуется Qwen 2.5 32B как лучшее соотношение качества и требований к VRAM.
Многоязычность Qwen: преимущество для CIS
Qwen изначально обучались на сбалансированном корпусе на 29 языках:
- Китайский: Лучшая в мире открытая модель для китайского - превосходит GPT-4 на CMMLU.
- Английский: На уровне Llama 3 и GPT-4o-mini на MMLU, HellaSwag, ARC.
- Русский: Существенно лучше Llama 3 на русскоязычных задачах. Понимает идиомы и культурный контекст.
- Японский, корейский, арабский: Качество выше всех открытых моделей.
- Контекст: 128K токенов на всех моделях от 7B и выше. Работа с большими документами без чанкинга.
- Function calling: Нативная поддержка инструментов и JSON-режима для агентов.
Для русскоязычных клиентов Qwen 2.5 32B часто оказывается более полезной, чем Llama 3 70B - меньше галлюцинаций на русском, лучше понимание сложных запросов.
Требования к серверу и производительность
Реальные требования для комфортной работы с разными размерами Qwen 2.5:
- Qwen 2.5 7B: 8-12GB VRAM в Q4, RTX 3060/4060 хватает. 80-120 токенов в секунду.
- Qwen 2.5 14B: 12-16GB VRAM в Q4, RTX 3090 или 4080. 50-70 токенов в секунду.
- Qwen 2.5 32B: 20-24GB VRAM в Q4, RTX 3090 24GB или 4090. 30-45 токенов в секунду.
- Qwen 2.5 72B: 48-50GB VRAM в Q4, 2x RTX 3090/4090 или A100 80GB. 15-25 токенов в секунду.
- Контекст 128K: Требует +5-10GB VRAM на kv-cache. Учитывайте при выборе железа.
- Multi-GPU: vLLM tensor parallelism для 72B на 2-4 GPU.
Anubiz Host подбирает оптимальную конфигурацию под ваш use case - чат, code generation, RAG или агенты.
Related Services
Why Anubiz Host
Ready to get started?
Skip the research. Tell us what you need, and we'll scope it, implement it, and hand it back — fully documented and production-ready.