最近，看到一篇微信公众号文章，以《可观测性方案怎么选？SelectDB vs Elasticsearch vs ClickHouse》为题，我们认为对 Elastic 的论述有失偏颇，为此我们再来聊聊 Elastic 在全观测方面的理念与认知。

Elastic 现在已是集搜索、全观测、安全于一体的全平台解决方案，无论是搜索引擎的排名，还是对全观测、安全能力、洞察力的权威调查。都处于无可争辩的领导者地位！

我们先看一下各权威机构的调查分析👇：

DB-Engines 网站对搜索引擎的排名，Elasticsearch 以绝对优势稳处第一名👆

Gartner 的四象限调查报告，Elastic 在“洞察引擎”调查中处于“Leaders”地位👆

Gartner 在全观测平台四象限调查报告，Elastic 处于“Leaders”位置👆

Forrester Wave 在“安全分析平台”调查报告中显示，Elastic 处于“Leaders”地位👆

IDC 在全球 SIEM（Security Information and Event Management）调研中，Elastic 位于“Leaders”地位👆

Elastic 通过一个平台，两个开箱即用的解决方案，以及构建任何内容的自由。结合搜索和 AI 的强大功能，使世界领先的企业能够更快地从中获得洞察和结果。Elastic 覆盖了所有全观测性和安全性场景。从日志到指标，再到 APM 到 SIEM，再到端点保护和云安全。覆盖整个数据的生命周期 - 从摄取和数据存储到呈现洞察和采取行动。

Elasticsearch：Search AI 新一代日志分析系统

Elastic 新一代日志分析系统是通过一套统一的技术和平台来实现或整合企业所需的数据（结构化数据、半结构化数据、非结构化数据），实现搜索、分析、观测、安全、机器学习、AIOps 等各方面需求。

传统的日志分析系统通常由超过十多种的运维监控工具才可以支撑日常的运维，而且这些工具之间的数据互相孤立，形成一个个的信息孤岛，但实际上从数据流和数据处理的角度来看，这些工具的架构是一样的，都有一个采集端，都能实时的采集数据，唯一的不同只是数据的采集方式和数据结构的不同。

另外部署和维护众多大量的工具也会带来显著的成本，包括软件和硬件采购的前期投入、系统维护与升级的持续支出、系统推广与用户培训等隐性成本，以及过度依赖多个厂商可能导致的人员流动后知识流失和难以找到合适替代者的风险，优化这些成本因素，同时确保运维高效，低成本投入，是实现部门目标的关键。

Elastic 的目标就是通过构建一套集中式的全观测平台，助力去实现从传统 ITOM，到 ITOA，最终到 AIOps 的迭代进化。

新一代日志系统所需的能力矩阵

Elastic 从实时应用程序和性能监控，到根因分析和 SIEM，日志分析可以帮助企业从中洞察信息来改变和提升业务。但日志分析的用途远不止于此。企业可以利用日志数据来确保遵守安全策略，检查在线用户行为，并做出更明智的业务决策。

作为最受欢迎且部署最广泛的日志管理和搜索工具之一，Elastic 提供了强大而灵活的日志管理和分析功能。从本地部署到 Cloud，无论是用于全观测性还是安全计划，Elastic 都可以轻松扩展，以处理 PB 级的数据，从而进行故障排除并获得洞察。

Elastic Observability：全观测性引领者

全观测性涉及如何通过检查系统的外部输出（尤其是数据）来了解系统的内部状态。在现代应用程序开发中，全观测性是指从各种来源收集和分析数据（日志、指标和跟踪），以深入了解环境中运行的应用程序的行为。它可以应用于构建并希望监控的任何系统。

全观测性对于当今的动态架构和多云计算环境至关重要。它使软件工程师、IT、DevOps 和站点可靠性工程 (SRE) 团队能够解码遥测数据。这借助可视化工具（仪表板、服务依赖关系图和分布式跟踪）以及 AIOps 和机器学习方法来实现。借助合适的全观测性解决方案，您可以了解应用程序、服务和基础设施的运行情况，从而跟踪和响应问题。

通过 Elastic 全观测（Observability），您可以统一所有遥测数据（Logs、Metrics、APM、Traces、RUM、Profiling、Synthetic），无论是业务还是操作数据，通过将高基数和高维度数据导入到一个基于强大 AI 和分析引擎的可扩展数据存储中打破信息孤岛，实现上下文和关联性，从而更快地进行根因分析，从一个开放、灵活且统一的全栈全观测性解决方案中获取互动且上下文感知的洞察。加速问题解决，提供全面的 AI 驱动洞察，并推动运营效率。

Elastic Security：为 SOC 提供现代 AI SecOps 解决方案

结合了 Elasticsearch 的搜索能力和生成式 AI 技术，Elastic Security为 SOC 提供现代的 SecOps 解决方案。

通过集成主机、网络、云、用户以及 Elastic Defend 原生支持的系统（windows、Linux、macOS）、Server、VMs、Containers、Kubernetes、Cloud providers，Elastic Securitty 可以通过机器学习和 AI助 手实现 SIEM、EDR 及 Cloud Native Security 集成安全解决方案。

近200个安全组件（firewall、Identity、Email、Cloud logs、EDR等）一键集成（integrations）。

通过 SIEM 实现安全与行为分析、威胁检测和警报、仪表板和可视化、威胁搜寻、调查与合作、工作流程、自动化和响应、安全 AI 助手和 GenAI。

Elastic 提供超过1000多个开箱即用的检测规则及多种规则类型，用于解决不同的威胁使用案例，并且他们正在不断扩展规则库。支持定义并创建您自己的检测规则，以匹配其独特的环境用例。MITRE ATT&CK® 覆盖率显示已安装和启用的检测规则覆盖了哪些 MITRE ATT&CK® 攻击者策略和技术。

EDR 具有数百个 MITRE ATT&CK 映射检测，与其他终端安全供应商不同，Elastic 在单个代理和单个统一安全平台中解决了终端预防、终端检测和响应以及 XDR 使用用例。

云原生安全实现云及 Kubernetes 的安全态势、漏洞、负载保护、响应能力。

Elastic：引领技术创新

Elasticsearch，基于Apache Lucene 的分布式搜索与分析引擎，是 Elastic Stack的“底座”，十多年来在日志分析、全观测、APM、安全（SIEM）等领域稳坐 C 位。以无与伦比的灵活性与性能，赋能全球企业。Elastic 公司也一如既往地推出各种创新功能：

1. LogsDB+ZSTD 压缩：存储效率提升

Elasticsearch 的 LogsDB 存储引擎专为高吞吐日志场景量身打造，结合 ZSTD 压缩（Lucene 7.8+，高压缩模式下可调参数如 windowLog=22）与 Data Tiers（热/温/冷分层），将存储成本压至极致。ZSTD 通过上下文建模与熵编码，在日志场景下压缩比达4:1至8:1（视数据冗余度），冷数据迁移至 S3/HDFS 再降50%成本。

2. BBQ 向量优化

BBQ（Binary Quantization for Vectors）技术为乘积量化（PQ）等传统量化技术提供了高性能替代方案。通过 SIMD 算法，可将召回率提高高达 20%，吞吐量提高 8 到 30 倍，从而实现高效、准确的搜索。Elastic 是首家采用此方法的矢量数据库供应商，使实际的搜索工作负载能够更快地获得结果，同时减少计算资源。

BBQ 算法在向量搜索中具有显著优势，主要体现在以下几个方面：

• BBQ 算法在预测准确性上优于之前的算法，能够在不增加计算资源的情况下提供更好的排名质量和性能。

• BBQ 允许用户在排名质量、性能和计算资源之间进行灵活调整，以满足不同需求。此外，BBQ 通过使用预测向量进行过采样，并在此基础上进行重新排名，从而提高了召回率，达到0.9的高水平。

• BBQ 的实现简化了用户的操作，用户只需定义向量和过采样量，系统会自动处理其余部分。

作为使 Apache Lucene 成为最佳矢量数据库的使命的一部分，并且作为将这些创新带给社区的倡导者，Elastic 将这些功能合并到 Lucene 中。 

3. LLM 全观测性

Elastic 的 LLM 可观察性在 Amazon Bedrock，Azure OpenAI，Google Vertex AI 和 OpenAI 的终端可见性中，可见性，可靠性，成本和合规性，使 SRE 能够优化 AI 驱动的应用程序并对其进行故障排除。

排查基于 LLM 的应用程序的同时，还可以查看此请求期间与 LLM 的提示和响应交换，以排除输入对性能的影响。

4. 企业级就绪 EDOT - Elastic Distributions of OpenTelemetry 

Elastic 推出 EDOT 企业级就绪的 OpenTelemetry 组件，通过 EDOT collector 以及 EDOT for Java、Node.js、Python、.Net 和 PHP 语言 SDK 支持。在 apm 和 trace 方面提供开源和灵活一致的服务管理，实现全观测的数据的兼容共性。

5. AI 助手/MCP 贯穿 Elastic 全平台（日志、全观测、安全）

结合企业运维经验知识库，AI+MCP+RAG 结合，Elastic 从日志、全观测到安全，都可以通过 GenAI 提升智能运维能力：

• 通过内置超过100多个ML模型，使用自然语言聊天通，过ES|QL查询数据、构建Lens可视化，获取服务、警报或其他可观测性数据的信息；基于您的专有知识库。使用ELSER ML模型来回忆指令，从而简化可观测性数据。

• 通过将现有文档、运行手册、已知问题集成到知识库中，以指导可观测性中的根本原因分析，减少获取知识的平均时间，从而加速MTTK和故障排除。

• 由Elasticsearch AI驱动的知识库（RAG）和已建立的功能API使Elastic Observability成为AI助手的最佳平台

6. Elastic AutoOps

AutoOps for Elasticsearch 通过性能建议、资源利用率和成本洞察、实时问题检测和解决路径，简化了集群管理。通过分析数百个 Elasticsearch 指标、配置和使用模式，AutoOps 会推荐运营和监控见解，从而节省管理时间和硬件成本。 

• Elasticsearch 性能优化：AutoOps 会准确地告知如何保持 Elasticsearch 集群平稳运行。根据具体使用情况和配置提供定制的洞察，从而保持高性能。

• 实时检测Elasticsearch 特定问题：AutoOps 持续分析数百个 Elasticsearch 指标，并提供预配置的警报，以便在问题恶化之前发现诸如数据提取瓶颈、数据结构配置错误、负载不均衡、查询速度慢等问题。

• 轻松故障排除：尤其是在大型环境中故障排除可能很复杂，AutoOps 会执行根因分析，并提供深入到问题发生的确切时间点的分析，以及包括上下文 Elasticsearch 命令和最佳实践在内的解决路径。

• Elasticsearch 部署的成本可视性和优化：AutoOps 可识别未充分利用的节点、大小索引和分片，并提出数据层优化建议。这有助于提高资源利用率并节省潜在的硬件成本。

• 无缝集成：AutoOps 不仅仅是一个独立的工具；它内置于 Elastic Cloud 中，并与警报和消息传递框架（MS Teams 和 Slack）、事件管理系统（PagerDuty 和 OpsGenie）以及其他工具集成。您可以根据自己的用例自定义 AutoOps 警报和通知。

AutoOps 内置了在运行和管理各种 Elastic 环境方面的专业知识。AutoOps 可识别并提醒有关开销大的查询、存在的数据类型以及是否应该/何时应该使用（或不应该使用）的信息，例如将数字存储为整数/长整型，以便针对范围查询进行优化。

Elastic 全观测性比较

针对公众号文章中提供的一些优势比较，这里不去做过多争辩，只是列出一些特点供参考。

1. 性能分析

Elasticsearch 的 LogsDB 优化后，单节点写入吞吐可达500MB/s，集群可达10GB/s，P99延迟<100ms（Elastic官方压测，基于 AWS c5.4xlarge 节点）。通过调优 bulk API（批量大小5000-10000）、分片数（每节点2-4个）和队列深度（thread_pool.write.bulk.size=200）。而且在动态Schema日志不需ETL预处理。可以参看 https://qiita.com/nobuhikosekiya/items/e72fbfe411808f3f6ec9进行的 logsdb 报告。

2. 聚合分析性能

ES|QL 是 Elasticsearch 为复杂查询和聚合打造的新的管道式 SQL 查询，结合 SQL-like 语法和 Lucene 的索引能力，可以轻松应对 TB 级数据的复杂聚合。比如，想统计1亿条日志中每小时的错误率并按服务分组？ES|QL一句查询就可以实现。

3. 成本分析

Elasticsearch 的 ZSTD 压缩（Lucene 8+，codec=best_compression）结合 Data 分层，压缩比4:1-8:1，冷数据存S3，总成本可压至40-60万/月（Elastic Cloud定价，基于 m5.large 节点），阿里云或腾讯云 ES，采用 logsdb+数据分层+快照可搜索功能，成本会更低。

4. ES|QL 易学好用

Elasticsearch 支持多种 DSL 查询语言，由于功能强大，初学会有点复杂。但 Kibana 的 Query Bar 和 Dev Tools 提供直观查询体验。而且现在 Elastic 新近推出 ES|QL 强大功能更方便熟悉 SQL 语法的 DBA 和开发者习惯，更易掌握。

5. ELK 开源生态

Elasticsearch 的开源社区823个 repository（GitHub 总计超过10万+星），活跃度一直很高，而且 Kibana 是 Elastic 原生产品。Elastic 同时也支持 OpenTelemetry、Prometheus、Grafana 等主流生态。Elastic 不但贡献给 Opentelemetry 数据标准并共同维护社区，而且提供 EDOT（企业级 opentelemetry）服务。另外 Elastic 有近500个与第三方软硬集成功能，更体现其生态的广泛与无限扩展性。

结语

Elastic 依靠创新的 LogsDB、ZDST 压缩、BBQ 向量优化、AIOps 技术，结合其整个平台的全功能性，在性能、成本、易用性和安全性上都具有成熟稳定和广泛的用户，全球的成功客户案例数不胜数，参考 https://www.elastic.co/industries。

Elasticsearch、Logstash、Kibana、Beats、Agents 由 Elastic 公司原生集成的版本契合的浑然天成的产品，有最好的兼容性和集成性。可以不依赖外部的其它组件就实现所有一体解决方案（搜索、全观测、安全）。

如有兴趣可以下载 ELK 的开源版或通过 Elastic Cloud 体验企业版功能。欢迎加入 Elastic 社区，以代码与数据共探真谛！