ru
VPS для self-hosted AI: локальные LLM без цензуры
ChatGPT и другие коммерческие AI ограничены по темам и требуют аккаунта. Self-hosted AI (Ollama + Llama 3, Mistral, DeepSeek) на offshore VPS работает без ограничений, без логирования запросов и без привязки к личности.
Need this done for your project?
We implement, you ship. Async, documented, done in days.
Установка Ollama и Open WebUI
# Установка Ollama
curl -fsSL https://ollama.ai/install.sh | sh
# Загрузка модели (Llama 3.1 8B - 4.7GB)
ollama pull llama3.1:8b
# Загрузка Mistral (7B - быстрая, качественная)
ollama pull mistral:7b
# Open WebUI (веб-интерфейс как ChatGPT)
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
# Доступ: http://your-vps-ip:3000Open WebUI предоставляет интерфейс как ChatGPT. Поддерживает несколько моделей, сохранение чатов, загрузку документов (RAG).
Требования к ресурсам для LLM
Минимальные требования по объёму RAM:
- Llama 3.1 8B (4-bit): 6GB RAM
- Mistral 7B (4-bit): 5GB RAM
- Llama 3.1 70B (4-bit): 40GB RAM
- DeepSeek Coder 33B (4-bit): 20GB RAM
VPS с 8GB RAM отлично справляется с 7-8B моделями. Для 70B - нужен dedicated сервер с 64GB RAM. CPU-inference работает, но медленнее GPU.
Related Services
Why Anubiz Host
100% async — no calls, no meetings
Delivered in days, not weeks
Full documentation included
Production-grade from day one
Security-first approach
Post-delivery support included
Ready to get started?
Skip the research. Tell us what you need, and we'll scope it, implement it, and hand it back — fully documented and production-ready.