最近，看到一篇微信公众号文章，以《可观测性方案怎么选？SelectDB vs Elasticsearch vs ClickHouse》为题，我们认为对 Elastic 的论述有失偏颇，为此我们再来聊聊 Elastic 在全观测方面的理念与认知。

Elastic 现在已是集搜索、全观测、安全于一体的全平台解决方案，无论是搜索引擎的排名，还是对全观测、安全能力、洞察力的权威调查。都处于无可争辩的领导者地位！

我们先看一下各权威机构的调查分析👇：

DB-Engines 网站对搜索引擎的排名，Elasticsearch 以绝对优势稳处第一名👆

Gartner 的四象限调查报告，Elastic 在“洞察引擎”调查中处于“Leaders”地位👆

Gartner 在全观测平台四象限调查报告，Elastic 处于“Leaders”位置👆

Forrester Wave 在“安全分析平台”调查报告中显示，Elastic 处于“Leaders”地位👆

IDC 在全球 SIEM（Security Information and Event Management）调研中，Elastic 位于“Leaders”地位👆

Elastic 通过一个平台，两个开箱即用的解决方案，以及构建任何内容的自由。结合搜索和 AI 的强大功能，使世界领先的企业能够更快地从中获得洞察和结果。Elastic 覆盖了所有全观测性和安全性场景。从日志到指标，再到 APM 到 SIEM，再到端点保护和云安全。覆盖整个数据的生命周期 - 从摄取和数据存储到呈现洞察和采取行动。

Elasticsearch：Search AI 新一代日志分析系统

Elastic 新一代日志分析系统是通过一套统一的技术和平台来实现或整合企业所需的数据（结构化数据、半结构化数据、非结构化数据），实现搜索、分析、观测、安全、机器学习、AIOps 等各方面需求。

传统的日志分析系统通常由超过十多种的运维监控工具才可以支撑日常的运维，而且这些工具之间的数据互相孤立，形成一个个的信息孤岛，但实际上从数据流和数据处理的角度来看，这些工具的架构是一样的，都有一个采集端，都能实时的采集数据，唯一的不同只是数据的采集方式和数据结构的不同。

另外部署和维护众多大量的工具也会带来显著的成本，包括软件和硬件采购的前期投入、系统维护与升级的持续支出、系统推广与用户培训等隐性成本，以及过度依赖多个厂商可能导致的人员流动后知识流失和难以找到合适替代者的风险，优化这些成本因素，同时确保运维高效，低成本投入，是实现部门目标的关键。

Elastic 的目标就是通过构建一套集中式的全观测平台，助力去实现从传统 ITOM，到 ITOA，最终到 AIOps 的迭代进化。

新一代日志系统所需的能力矩阵

Elastic 从实时应用程序和性能监控，到根因分析和 SIEM，日志分析可以帮助企业从中洞察信息来改变和提升业务。但日志分析的用途远不止于此。企业可以利用日志数据来确保遵守安全策略，检查在线用户行为，并做出更明智的业务决策。

作为最受欢迎且部署最广泛的日志管理和搜索工具之一，Elastic 提供了强大而灵活的日志管理和分析功能。从本地部署到 Cloud，无论是用于全观测性还是安全计划，Elastic 都可以轻松扩展，以处理 PB 级的数据，从而进行故障排除并获得洞察。

Elastic Observability：全观测性引领者

全观测性涉及如何通过检查系统的外部输出（尤其是数据）来了解系统的内部状态。在现代应用程序开发中，全观测性是指从各种来源收集和分析数据（日志、指标和跟踪），以深入了解环境中运行的应用程序的行为。它可以应用于构建并希望监控的任何系统。

全观测性对于当今的动态架构和多云计算环境至关重要。它使软件工程师、IT、DevOps 和站点可靠性工程 (SRE) 团队能够解码遥测数据。这借助可视化工具（仪表板、服务依赖关系图和分布式跟踪）以及 AIOps 和机器学习方法来实现。借助合适的全观测性解决方案，您可以了解应用程序、服务和基础设施的运行情况，从而跟踪和响应问题。

通过 Elastic 全观测（Observability），您可以统一所有遥测数据（Logs、Metrics、APM、Traces、RUM、Profiling、Synthetic），无论是业务还是操作数据，通过将高基数和高维度数据导入到一个基于强大 AI 和分析引擎的可扩展数据存储中打破信息孤岛，实现上下文和关联性，从而更快地进行根因分析，从一个开放、灵活且统一的全栈全观测性解决方案中获取互动且上下文感知的洞察。加速问题解决，提供全面的 AI 驱动洞察，并推动运营效率。

Elastic Security：为 SOC 提供现代 AI SecOps 解决方案

结合了 Elasticsearch 的搜索能力和生成式 AI 技术，Elastic Security为 SOC 提供现代的 SecOps 解决方案。

通过集成主机、网络、云、用户以及 Elastic Defend 原生支持的系统（windows、Linux、macOS）、Server、VMs、Containers、Kubernetes、Cloud providers，Elastic Securitty 可以通过机器学习和 AI助 手实现 SIEM、EDR 及 Cloud Native Security 集成安全解决方案。

近200个安全组件（firewall、Identity、Email、Cloud logs、EDR等）一键集成（integrations）。

通过 SIEM 实现安全与行为分析、威胁检测和警报、仪表板和可视化、威胁搜寻、调查与合作、工作流程、自动化和响应、安全 AI 助手和 GenAI。

Elastic 提供超过1000多个开箱即用的检测规则及多种规则类型，用于解决不同的威胁使用案例，并且他们正在不断扩展规则库。支持定义并创建您自己的检测规则，以匹配其独特的环境用例。MITRE ATT&CK® 覆盖率显示已安装和启用的检测规则覆盖了哪些 MITRE ATT&CK® 攻击者策略和技术。

EDR 具有数百个 MITRE ATT&CK 映射检测，与其他终端安全供应商不同，Elastic 在单个代理和单个统一安全平台中解决了终端预防、终端检测和响应以及 XDR 使用用例。

云原生安全实现云及 Kubernetes 的安全态势、漏洞、负载保护、响应能力。

Elastic：引领技术创新

Elasticsearch，基于Apache Lucene 的分布式搜索与分析引擎，是 Elastic Stack的“底座”，十多年来在日志分析、全观测、APM、安全（SIEM）等领域稳坐 C 位。以无与伦比的灵活性与性能，赋能全球企业。Elastic 公司也一如既往地推出各种创新功能：

1. LogsDB+ZSTD 压缩：存储效率提升

Elasticsearch 的 LogsDB 存储引擎专为高吞吐日志场景量身打造，结合 ZSTD 压缩（Lucene 7.8+，高压缩模式下可调参数如 windowLog=22）与 Data Tiers（热/温/冷分层），将存储成本压至极致。ZSTD 通过上下文建模与熵编码，在日志场景下压缩比达4:1至8:1（视数据冗余度），冷数据迁移至 S3/HDFS 再降50%成本。

2. BBQ 向量优化

BBQ（Binary Quantization for Vectors）技术为乘积量化（PQ）等传统量化技术提供了高性能替代方案。通过 SIMD 算法，可将召回率提高高达 20%，吞吐量提高 8 到 30 倍，从而实现高效、准确的搜索。Elastic 是首家采用此方法的矢量数据库供应商，使实际的搜索工作负载能够更快地获得结果，同时减少计算资源。

BBQ 算法在向量搜索中具有显著优势，主要体现在以下几个方面：

• BBQ 算法在预测准确性上优于之前的算法，能够在不增加计算资源的情况下提供更好的排名质量和性能。

• BBQ 允许用户在排名质量、性能和计算资源之间进行灵活调整，以满足不同需求。此外，BBQ 通过使用预测向量进行过采样，并在此基础上进行重新排名，从而提高了召回率，达到0.9的高水平。

• BBQ 的实现简化了用户的操作，用户只需定义向量和过采样量，系统会自动处理其余部分。

作为使 Apache Lucene 成为最佳矢量数据库的使命的一部分，并且作为将这些创新带给社区的倡导者，Elastic 将这些功能合并到 Lucene 中。 

3. LLM 全观测性

Elastic 的 LLM 可观察性在 Amazon Bedrock，Azure OpenAI，Google Vertex AI 和 OpenAI 的终端可见性中，可见性，可靠性，成本和合规性，使 SRE 能够优化 AI 驱动的应用程序并对其进行故障排除。

排查基于 LLM 的应用程序的同时，还可以查看此请求期间与 LLM 的提示和响应交换，以排除输入对性能的影响。

4. 企业级就绪 EDOT - Elastic Distributions of OpenTelemetry 

Elastic 推出 EDOT 企业级就绪的 OpenTelemetry 组件，通过 EDOT collector 以及 EDOT for Java、Node.js、Python、.Net 和 PHP 语言 SDK 支持。在 apm 和 trace 方面提供开源和灵活一致的服务管理，实现全观测的数据的兼容共性。

5. AI 助手/MCP 贯穿 Elastic 全平台（日志、全观测、安全）

结合企业运维经验知识库，AI+MCP+RAG 结合，Elastic 从日志、全观测到安全，都可以通过 GenAI 提升智能运维能力：

• 通过内置超过100多个ML模型，使用自然语言聊天通，过ES|QL查询数据、构建Lens可视化，获取服务、警报或其他可观测性数据的信息；基于您的专有知识库。使用ELSER ML模型来回忆指令，从而简化可观测性数据。

• 通过将现有文档、运行手册、已知问题集成到知识库中，以指导可观测性中的根本原因分析，减少获取知识的平均时间，从而加速MTTK和故障排除。

• 由Elasticsearch AI驱动的知识库（RAG）和已建立的功能API使Elastic Observability成为AI助手的最佳平台