OpenSearch кластер на офшорном VPS

В январе 2021 Elastic сменил лицензию с Apache 2.0 на SSPL+ELv2, что затронуло использование в managed services (AWS не мог продавать managed Elasticsearch). AWS форкнул код 7.10 версии и создал OpenSearch под Apache 2.0. С тех пор два проекта расходятся. OpenSearch: полностью открытая лицензия, security и alerting встроены бесплатно (в Elastic - X-Pack Basic), активно развивается AWS и сообществом, поддерживает все стандартные клиенты Elasticsearch 7.x (с некоторыми ограничениями). Elasticsearch 8.x: продолжает развиваться Elastic, имеет более новые фичи (vector search через ELSER, ML облачные модели), но требует enterprise лицензии для большинства advanced функций в production. Для большинства use-case OpenSearch достаточен и не имеет лицензионных рисков. Для cutting-edge ML фич - Elasticsearch.

OpenSearch применяется в тех же сценариях что и Elasticsearch. Полнотекстовый поиск - продукты в e-commerce, документы в knowledge base, отзывы. Inverted index с поддержкой стемминга русского языка через analyzer russian. Логи и observability - OpenSearch + Fluent Bit + OpenSearch Dashboards как замена ELK. Index lifecycle management автоматически перемещает старые индексы на холодные ноды. Метрики - OpenSearch как long-term storage для Prometheus через remote_write. Аналитика через aggregations. Security analytics - встроенный SIEM use-case через OpenSearch Security Analytics: правила Sigma, detection rules, MITRE ATT&CK mapping. Минимальная конфигурация: 3 узла по 8 vCPU, 16 GB RAM, 500 GB NVMe. Для log analytics с 50 GB/день - такая конфигурация хранит 30 дней hot, 90 дней warm. Стоимость от 300 долларов в месяц за кластер.

OpenSearch Security plugin (форк Open Distro Security от AWS) встроен бесплатно. Authentication: native realm, LDAP, SAML, OpenID Connect, JWT. Authorization: role-based access control до уровня индекса, типа документа, поля, и query-based filtering. TLS: обязательное TLS-шифрование между узлами кластера и между клиентами. Audit logging: все операции логируются для compliance. Multi-tenancy в Dashboards: разные группы пользователей видят свои дашборды и сохранённые поиски. Field masking и anonymization: автоматическое скрытие чувствительных данных по ролям (email, телефоны, ID). Document-level security: фильтр query шаблоном применяется ко всем поисковым запросам пользователя. IP whitelist для API на уровне роли. Всё это в Elasticsearch требует Platinum лицензию ($95/узел/месяц). В OpenSearch - бесплатно.