VPS для массового парсинга: скрапинг без ограничений

Профессиональный парсинг требует:

• Несколько IP-адресов для ротации (снижает риск блокировки)
• Высокая пропускная способность для параллельных запросов
• Стабильное время работы (uptime 99.9%)
• Возможность запуска тяжёлых фреймворков (Playwright, Puppeteer с headless Chrome)

Offshore VPS в Румынии с 4-8 CPU и 8-16GB RAM справляется с тысячами запросов в минуту.

# Установка Scrapy
pip install scrapy scrapy-rotating-proxies

# settings.py
ROTATING_PROXY_LIST = [
    'http://proxy1:8080',
    'http://proxy2:8080',
    # Ваши прокси
]

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

CONCURRENT_REQUESTS = 32
DOWNLOAD_DELAY = 0.5
AUTOTHROTTLE_ENABLED = True

# Запуск паука
scrapy crawl myspider -o output.json

С offshore VPS вы можете развернуть Tor SOCKS прокси для дополнительной ротации IP через выходные узлы Tor - каждый запрос с нового IP.

# Установка Playwright
npm install playwright
npx playwright install chromium

# Пример скрипта с ротацией
const { chromium } = require('playwright');

async function scrape(url, proxy) {
  const browser = await chromium.launch({
    proxy: { server: proxy }
  });
  const page = await browser.newPage();
  await page.goto(url);
  const content = await page.content();
  await browser.close();
  return content;
}

// Параллельный скрапинг
const proxies = ['http://p1:8080', 'http://p2:8080'];
const results = await Promise.all(
  urls.map((url, i) => scrape(url, proxies[i % proxies.length]))
);