Elasticsearch кластер на офшорных VPS
Elasticsearch - distributed search и analytics движок на базе Apache Lucene. Используется для полнотекстового поиска (товары, документы), хранения и анализа логов (ELK stack), мониторинга метрик, обнаружения аномалий. Кластерная архитектура с шардингом обеспечивает horizontal scaling до миллиардов документов. Наш хостинг разворачивает Elasticsearch с Kibana на офшорных NVMe VPS с криптооплатой.
Need this done for your project?
We implement, you ship. Async, documented, done in days.
Архитектура Elasticsearch кластера
Минимальный production-кластер Elasticsearch состоит из 3 узлов разных ролей: Master-eligible nodes хранят метаданные кластера и проводят выборы primary master. Data nodes хранят индексы и выполняют поисковые запросы. Ingest nodes обрабатывают входящие документы через pipeline (парсинг, обогащение, маршрутизация). В малых кластерах одни и те же узлы выполняют все роли. Для production от 100 GB данных рекомендуем разделение: 3 dedicated master узла с минимальной нагрузкой плюс 3-N data узлов под фактическую нагрузку. Каждый индекс шардируется на N primary shards и реплицируется в M replica shards. Замена дисков и обновление узлов происходит без downtime через rolling restart.
Логи и ELK stack
Самое популярное применение Elasticsearch - централизованный сбор и анализ логов через ELK stack (Elasticsearch + Logstash + Kibana). Filebeat на каждом сервере читает /var/log файлы и отправляет в Logstash. Logstash парсит grok-паттернами, добавляет geolocation по IP, маршрутизирует по индексам. Elasticsearch хранит и индексирует логи. Kibana рендерит дашборды и позволяет ad-hoc поиск через KQL. Index lifecycle management автоматически перемещает старые индексы на холодные ноды и удаляет через N дней. Под нагрузку 10 GB логов в день нужно: 3 узла по 8 vCPU, 16 GB RAM, 200 GB NVMe плюс 500 GB cold storage SATA. Мы настроим всю цепочку под ключ.
Безопасность и шифрование
Версии Elasticsearch до 6.8 не имели встроенной авторизации - кластеры были открыты в интернет тысячами и взламывались за минуты. Современный Elasticsearch 8.x включает X-Pack Security бесплатно: TLS-шифрование между всеми узлами кластера и между клиентами и нодами, обязательно с 8.0. Native realm authentication с ролями и пользователями, или интеграция с LDAP/SAML. Field-level security ограничивает доступ к чувствительным полям по ролям. Document-level security фильтрует документы query шаблоном. Audit logging записывает все запросы для compliance. Дополнительно мы настраиваем firewall: HTTP порт 9200 доступен только из вашей сети, transport порт 9300 закрыт от внешнего мира. Kibana 5601 через nginx reverse proxy с TLS и basic auth.
Related Services
Why Anubiz Host
Ready to get started?
Skip the research. Tell us what you need, and we'll scope it, implement it, and hand it back — fully documented and production-ready.