Сервер для Ollama с GPU поддержкой

Ollama упрощает запуск больших языковых моделей до одной команды. Сравнение с публичными сервисами:

• Приватность: Все промпты и ответы остаются на вашем сервере. OpenAI, Anthropic, Google логируют ваши диалоги для обучения моделей.
• Без лимитов: Никаких rate limits, дневных квот или принудительных пауз между запросами.
• Без цензуры: Доступны uncensored форки моделей - Dolphin, WizardLM-Uncensored, Hermes без RLHF-фильтров.
• Стоимость: Фиксированная плата за сервер вместо переменной оплаты per-token. Окупается при объёме от 5 млн токенов в месяц.
• Кастомизация: Возможность тонкой настройки моделей, создания Modelfile с системным промптом и temperature.

Anubiz Host обеспечивает выделенный GPU 24/7 без задержек на cold start, характерных для serverless GPU-сервисов.

Размер VRAM напрямую определяет, какие модели вы сможете запускать комфортно:

• 8GB VRAM: Llama 3 8B, Mistral 7B, Phi-3 - быстрые модели для чата и простых задач.
• 16GB VRAM: Llama 3 13B, Codellama 13B, Mixtral 8x7B в Q4 квантизации.
• 24GB VRAM: Llama 3 70B в Q4, Qwen 72B, DeepSeek 67B - уровень GPT-3.5/GPT-4.
• 48GB VRAM: Llama 3 70B в Q8 без потери качества, DeepSeek-V2 236B в Q3.
• 80GB+ VRAM: Llama 3.1 405B, DeepSeek-V3 671B - flagship модели уровня GPT-4o.

Anubiz Host поддерживает конфигурации от RTX 3060 12GB до A100 80GB. Возможна сборка multi-GPU нод для запуска самых крупных моделей через tensor parallelism.

Практические применения локального LLM-хостинга, где облачные API не подходят:

• Корпоративный AI: Анализ конфиденциальных документов без передачи их в OpenAI или Anthropic.
• Юридическая практика: Работа с документами под адвокатской тайной требует on-premise решений.
• Медицинские данные: HIPAA-совместимый анализ без отправки PHI третьим сторонам.
• Журналистика: Защита источников при работе с чувствительными материалами и расшифровкой интервью.
• Code review: Анализ проприетарного кода без риска утечки в обучающую выборку Copilot.
• Adult content: Генерация и модерация контента, который ToS публичных LLM запрещают.

API совместимый с OpenAI позволяет переключаться с ChatGPT API на Ollama без изменения клиентского кода - просто меняете base_url.