如何选择一个向量数据库:Elastic Cloud 和 Zilliz Cloud 面面观
随着以 Milvus 为代表的向量数据库在 AI 产业界越来越受欢迎,诸如 Elasticsearch 之类的传统数据库和检索系统也开始行动起来,纷纷在快速集成专门的向量检索插件方面展开角逐。
例如,在提供类似插件的传统数据库中,Elasticsearch 8.0 首屈一指,推出了包括向量插入和最相似近邻搜索(ANN)能力在内的一系列特性,并提供了相应的 RESTful API 接口。在这种情况下,作为 Elasticsearch 的完全托管版本,Elastic Cloud 也开始提供向量检索能力。
值得注意的是,作为既有系统的补充,大多数此类向量检索插件提供的 embedding 管理和向量检索方案并不尽如人意,使得这些插件在与检索性能密切相关的时延、容量和吞吐等指标上表现不佳。这就好像人们寄希望于将燃油汽车改造成使用锂电池和电机的新能源汽车一样,存在创新不足的问题。
本文将撇开这些表面差异,通过比较二者的性能基准测试结果和 Elastic Cloud 的相关特性,深入探究 Elastic Cloud 和 Zilliz Cloud (https://zilliz.com.cn/)的差异。
01.Elastic Cloud v.s. Zilliz Cloud:性能大比拼
Zilliz 经常会收到来自开发者和架构师的提问:“Zilliz Cloud 和 Elastic Cloud 比起来,谁进行向量处理能力比较强?”
诸如此类的问题很多,究其根本,大都是开发者/架构师在为语义相似性检索系统进行数据库选型时缺少决策依据有关。最近,随着检索增强生成系统(RAG:https://zilliz.com/use-cases/llm-retrieval-augmented-generation) 的持续火爆,此类提问也越来越多。
过去几周,我们从性能和特性能力两个方面对 Elastic Cloud(https://www.elastic.co/cn/cloud) 和 Zilliz Cloud 进行了详细的对比。在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。
测试用数据集
以下为测试中使用的两类数据集:
-
数据集 1 包含 1,000,000 条 768 维的向量数据。
-
数据集 2 包含 500,000 条 1,536 维的向量数据。
测试对象
以下为测试时使用的实例,这些实例在硬件配置上基本相近:
-
Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例
-
Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例
-
Elastic Cloud (up to 2.5c8g):Elastic Cloud 2.5 vCPU 和 8 GB 内存
注:关于 Zilliz Cloud 计算单元(CU)的更多信息,可以参考《适配各类大模型应用!手把手教你选择 Zilliz Cloud 实例类型》。
每秒查询次数(QPS)
测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Elastic Cloud 实例的 34 倍和 22 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Elastic Cloud 实例的 26 倍和 13 倍。
下图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的评分标准可以参考此处。
由此可以看出,Zilliz Cloud 在该指标上全面碾压 Elastic Cloud。
每美元查询次数(QP$)
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Elastic Cloud 实例的 102 倍和 65 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Elastic Cloud 实例的 79 倍和 38 倍。
下图展示了各实例在不同用例(https://zilliz.com/vector-database-benchmark-tool#comparison-section)下的性能评分(百分制)情况,分数越高,性能越强。具体的评分标准(https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard)可以参考此处。由此可以看出,Zilliz Cloud 在该指标上全面碾压 Elastic Cloud。
时延
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别是 Elastic Cloud 实例的 123 倍和 96 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别是 Elastic Cloud 实例的 502 倍和 108 倍。
下图展示了各实例在不同用例下的性能评分(>1分制)情况,分数越接近 1,性能越强。
由此可以看出,Zilliz Cloud 在该指标上全面碾压 Elastic Cloud。
上述性能基准测试结果由开源的 VectorDBBench(https://github.com/zilliztech/VectorDBBench) 工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。
02.Elastic Cloud 特性对比
随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。
向量数据库为何而生
向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表示,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:
-
可扩展性和参数调节能力
-
多租户和数据隔离
-
完整的 API 套件
-
直观的用户界面和控制台
可扩展性
功能
专门打造
更多详情,请参见比较页面 https://zilliz.com/comparison/milvus-vs-elastic。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于 ACK Fluid 的混合云优化数据访问(三):加速第三方存储的读访问,降本增效并行
作者:车漾 前文回顾: 本系列将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景,相关文章请参考: 基于 ACK Fluid 的混合云优化数据访问(一):场景与架构 基于 ACK Fluid 的混合云优化数据访问(二):搭建弹性计算实例与第三方存储的桥梁 在前一篇文章《搭建弹性计算实例与第三方存储的桥梁》中,介绍如何通过 ACK Fluid 接入第三方分布式存储,可以实现弹性计算实例 ECI 和 ECS 与云下存储系统之间的访问和数据传输,这实际上解决上云的第一阶段问题:连通性。 而对于生产环境来说,如果云上计算访问云下存储系统变成一种常态,就需要考虑性能、成本和稳定性。比如每年的云上访问线下数据的专线成本是多少?云上计算任务耗时和原有 IDC 计算任务相比是否有明显的落差?以及一旦专线出了问题,如何降低云上计算任务的损失? 在本文中将重点介绍如何加速第三方存储访问,实现更好的性能,更低的成本以及降低对专线稳定性的依赖。 概述 即便云上计算能够以 Kubernetes 的标准化协议 PV 存储卷访问企业的线下存储,也无法避免在性能,成本上的挑战和需求: 数据访问带宽有限...
- 下一篇
Jmix Studio 2.0.4 发布 - 企业级 Web 快速开发框架
Jmix 企业级Web快速开发框架的开发工具 Jmix Studio 2.0.4 发布,这次发布主要包含以下内容,推荐通过 IDEA 插件直接升级: 💥 新功能: 支持 MySQL 的 binary(16) UUID 类型。 🛠️ 主要 Bug 修复和改进: UI 设计器的表单添加位置错误的问题。 使用 Kotlin 作为编程语言的一些代码生成的问题。 扩展组件中的视图不自动添加消息的问题。 生成错误 dataContainer id 的问题。 BPM 设计器的一些问题。 详细修复的问题列表,请参考 Jmix Youtrack: https://youtrack.jmix.io/issues/JST?q=Fixed%20in%20builds:%202.0.4 🔑 Jmix 是一个覆盖应用程序全生命周期的 Java 少代码快速开发平台。以 Spring Boot 作为开源基础框架,提供过程中的 Studio 开发工具以及开箱即用的扩展组件。通过 Jmix 实现您的数字化愿景,无低代码平台限制,无供应商依赖,无需按用户付费。 资源:👉🏻Jmix 适合我吗? 👉🏻中文官网
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程