VPS cho AI và Machine Learning - Huấn Luyện Model và Deploy

VPS CPU (không có GPU) phù hợp với các tác vụ AI sau: **Inference nhỏ:** Chạy các model nhỏ như BERT, DistilBERT, sentence-transformers để embedding text, phân loại câu, tóm tắt văn bản. CPU inference chậm hơn GPU 5-10 lần nhưng đủ dùng cho production traffic vừa phải. **LLM quantized nhỏ:** Với Ollama, có thể chạy Llama 3.2 3B (Q4 quantization) trên VPS 8GB RAM, Llama 3.1 8B trên 16GB RAM. Phù hợp cho chatbot nội bộ, assistant cá nhân. **Data preprocessing:** Làm sạch dataset, feature engineering, tokenization - hoàn toàn CPU-bound và phù hợp với VPS. **Model serving API:** Deploy model đã train lên FastAPI/Flask, phục vụ prediction request. Latency cao hơn GPU nhưng chi phí thấp hơn 10-20 lần. **Training model nhỏ:** Scikit-learn models, XGBoost, LightGBM huấn luyện tốt trên CPU với dataset vài triệu records. Với deep learning training nặng (ResNet, Transformer từ scratch), cần GPU server. Nhưng với inference và experimentation, VPS CPU là lựa chọn kinh tế.

Ollama là công cụ đơn giản nhất để chạy LLM locally hoặc trên VPS. Cài đặt: ```bash curl -fsSL https://ollama.com/install.sh | sh # Pull model (Llama 3.2 3B ~2GB) ollama pull llama3.2:3b # Chạy inference ollama run llama3.2:3b "Giải thích machine learning cho người mới" ``` **Expose API cho ứng dụng:** Ollama tự động expose REST API tại port 11434. Tích hợp với ứng dụng Python: ```python import requests response = requests.post( "http://localhost:11434/api/generate", json={"model": "llama3.2:3b", "prompt": "Hello", "stream": False} ) print(response.json()["response"]) ``` **Cấu hình đề xuất theo model:** - llama3.2:3b (2GB VRAM/RAM): VPS 8GB RAM, 4 vCPU - llama3.1:8b (5GB RAM): VPS 16GB RAM, 8 vCPU - mistral:7b (4.1GB RAM): VPS 12GB RAM, 4 vCPU - phi3:mini (2.3GB RAM): VPS 6GB RAM, 2 vCPU Tất cả chạy ổn định trên CPU, chỉ chậm hơn GPU khoảng 5-10 tokens/second.

FastAPI là framework Python tốt nhất để deploy AI model thành REST API: type-safe, async, tự động generate Swagger docs và xử lý concurrent request tốt. **Cấu trúc project cơ bản:** ``` ai-api/ main.py # FastAPI app models/ # Saved models (.pkl, .pt) routers/ # API endpoints requirements.txt Dockerfile ``` **Dockerfile cho AI API:** ```dockerfile FROM python:3.11-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "4"] ``` **Load balancing:** Với VPS 8 vCPU, chạy 4 uvicorn workers để handle concurrent requests. Thêm Nginx reverse proxy phía trước để SSL termination và rate limiting. **Model caching:** Load model vào RAM khi khởi động, không reload mỗi request. Dùng global variable hoặc lifespan context manager trong FastAPI. Deploy với docker-compose up -d, set up systemd để auto-restart khi VPS reboot.

Duy trì AI system production cần MLOps practices dù ở quy mô nhỏ: **Model versioning với MLflow:** Track experiment, log metric và artifact mỗi lần train. UI web trực quan, so sánh các experiment dễ dàng. ```bash pip install mlflow mlflow ui --host 0.0.0.0 --port 5000 ``` **Data versioning với DVC:** Version control cho dataset lớn, tương tự Git nhưng cho data. Lưu data trên S3 hoặc local storage, track pointer trong Git. **Monitoring prediction quality:** Log mọi prediction vào database: input features, output, timestamp, model version. Detect data drift bằng cách so sánh distribution input mới vs training data. **Alerting:** Telegram bot gửi alert khi: - API response time > 5 giây (model overloaded) - Error rate > 1% (model returning exceptions) - Disk usage > 80% (dataset hoặc model cache đầy) **Scheduled retraining:** Cronjob weekly hoặc khi data drift được phát hiện, tự động trigger training pipeline mới và deploy model tốt nhất.