VPS для self-hosted AI: локальные LLM без цензуры

# Установка Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Загрузка модели (Llama 3.1 8B - 4.7GB)
ollama pull llama3.1:8b

# Загрузка Mistral (7B - быстрая, качественная)
ollama pull mistral:7b

# Open WebUI (веб-интерфейс как ChatGPT)
docker run -d -p 3000:8080   -e OLLAMA_BASE_URL=http://host.docker.internal:11434   -v open-webui:/app/backend/data   --name open-webui   ghcr.io/open-webui/open-webui:main

# Доступ: http://your-vps-ip:3000

Open WebUI предоставляет интерфейс как ChatGPT. Поддерживает несколько моделей, сохранение чатов, загрузку документов (RAG).

Минимальные требования по объёму RAM:

• Llama 3.1 8B (4-bit): 6GB RAM
• Mistral 7B (4-bit): 5GB RAM
• Llama 3.1 70B (4-bit): 40GB RAM
• DeepSeek Coder 33B (4-bit): 20GB RAM

VPS с 8GB RAM отлично справляется с 7-8B моделями. Для 70B - нужен dedicated сервер с 64GB RAM. CPU-inference работает, но медленнее GPU.