VPS برای Puppeteer: زیرساخت headless Chrome

هر instance Chromium که توسط Puppeteer launch می‌شود، تقریبا 200 تا 400 مگابایت RAM مصرف می‌کند. یک پروژه که 10 تا 20 instance همزمان اجرا می‌کند، به VPS با 8 تا 16 گیگ RAM نیاز دارد. CPU برای rendering و JavaScript execution مهم است. پلن‌های متوسط Anubiz Host با 4 vCPU و 8 گیگ RAM، نقطه شروع مناسبی برای اکثر پروژه‌های Puppeteer است.

برای پروژه‌های scale بزرگ که نیاز به اجرای صد ها instance همزمان دارند، VPS با 16 vCPU و 32 گیگ RAM گزینه قدرتمندی است. می‌توانید Puppeteer Cluster را با concurrency بالا اجرا کنید که خودکار instance های Chromium را مدیریت می‌کند: ایجاد، استفاده مجدد و cleanup. این کتابخانه memory leaks معمول در long-running puppeteer apps را برطرف می‌کند.

دیسک NVMe Anubiz Host برای cache مرورگر و temp files مهم است. Chromium زیاد روی disk می‌نویسد، به‌خصوص با cache فعال. NVMe در مقایسه با HDD سنتی، تأخیر I/O را به یک دهم کاهش می‌دهد. این موضوع به ویژه برای پروژه‌هایی که هزاران صفحه را اسکن می‌کنند مهم است.

اجرای Puppeteer روی Docker یک practice استاندارد است که portability و scalability را افزایش می‌دهد. image رسمی puppeteer/puppeteer شامل تمام dependencies سیستمی Chromium است. این به شما اجازه می‌دهد به سرعت روی VPS Anubiz Host با Docker، یک محیط ایزوله و قابل تکرار برای Puppeteer داشته باشید.

برای production، توصیه می‌شود image سفارشی بسازید که فقط dependencies مورد نیاز شما را داشته باشد. این size image را کاهش می‌دهد و سرعت deployment را افزایش می‌دهد. ادغام با docker-compose، تنظیمات multi-container ساده می‌شود: یک container برای Puppeteer worker، یکی برای Redis (به عنوان queue) و یکی برای database (PostgreSQL یا MongoDB).

Browserless یک پروژه open source است که Puppeteer را به عنوان service exposed می‌کند. شما می‌توانید Browserless را روی VPS Anubiz Host با Docker اجرا کنید و از applications مختلف به آن وصل شوید. این معماری service-oriented از pure embedded puppeteer scalable تر است و management راحت‌تری دارد.

Puppeteer به طور پیش‌فرض fingerprint های قابل شناسایی توسط anti-bot systems دارد. کتابخانه puppeteer-extra با plugin مثل puppeteer-extra-plugin-stealth این fingerprint ها را مخفی می‌کند. تنظیم navigator.webdriver به undefined، تغییر canvas fingerprint و mocking کردن plugins مرورگر، بخشی از این تنظیمات هستند.

برای کاربردهایی که نیاز به stealth بسیار بالا دارند، می‌توانید Chromium را با flags خاص launch کنید: disable-blink-features=AutomationControlled، disable-features=IsolateOrigins و سایر flags که نشانه‌های automation را مخفی می‌کنند. این flags از سال‌ها reverse engineering anti-bot algorithms آمده‌اند و در community puppeteer به اشتراک گذاشته شده‌اند.

ادغام با residential proxy یا rotating proxy، fingerprint network شما را natural می‌کند. VPS آفشور Anubiz Host به عنوان host برای Puppeteer، با IP datacenter، برای کاربردهای metallic stealth کافی نیست اما در ترکیب با residential upstream proxy، یک معماری stealth کامل می‌سازد.