如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud
随着向量数据库的热度不断攀升,越来越多人开始关注到这一赛道,传统数据库和检索系统也在快速集成专门的向量检索插件方面展开角逐。Qdrant 因其易用性和用户友好的开发者文档,面世不久即获得关注。
Qdrant 以 Rust 语言构建,提供 Rust、Python、Golang 等客户端 API,能够满足当今主流开发人员的需求。不过, Qdrant 作为后起之秀,和其他竞品仍然存在一定差距,例如界面及查询功能不够完善。
那么,Qdrant 和 Zilliz Cloud/Milvus 有何不同?可以这样理解,二者都专为向量数据打造,但适用于不同场景。Qdrant 更适合追求低成本基础设施维护的开发人员。而如果应用系统更注重性能和可扩展性,Zilliz Cloud/Milvus 是更合适的选择。因为 Zilliz Cloud/Milvus 具备可扩展性极强、性能更佳、延时更低的特点,适用于对性能指标有着严格要求的场景。
本文中将撇开这些表面差异,通过比较二者的性能基准测试结果和 Qdrant Cloud 的相关特性,深入探究 Qdrant Cloud 和 Zilliz Cloud 的差异。
01.Qdrant Cloud v.s. Zilliz Cloud:性能大比拼
最近,随着检索增强生成系统(RAG)的持续火爆,开发者对于“如何选择一个向量数据库”的疑惑也越来越多。
过去几周,我们从性能和特性能力两个方面对 Qdrant Cloud 和 Zilliz Cloud 进行了详细的对比。在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。
【大型测试数据集(≥ 500 万向量数据)】
以下为测试中使用的两类数据集:
-
数据集 1 包含 10,000,000 条 768 维的向量数据。
-
数据集 2 包含 5,000,000 条 1,536 维的向量数据。
测试对象
以下为测试时使用的实例,这些实例在硬件配置上基本相近:
-
Zilliz Cloud (8cu-perf):Zilliz Cloud 8 CU 性能型实例
-
Zilliz Cloud (2cu-cap):Zilliz Cloud 2 CU 容量型实例
-
Qdrant Cloud (4c16g-5node): Qdrant Cloud 4 CPU 16G 内存,使用 5 台机器的实例
每秒查询次数(QPS)
测试结果显示,在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 7 倍和 1 倍。
在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(8cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 8 倍,但 Zilliz Cloud (2cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。
每美元查询次数(QP$)
在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 8 倍和 5 倍。
在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 7 倍和 3 倍。
时延
在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 延时分别是 Qdrant Cloud 实例的 1/12 和 1/3 。
在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别比 Qdrant Cloud 实例快 8 倍和 1 倍。
【中型测试数据集(< 500 万向量数据)】
以下为测试中使用的两类数据集:
-
数据集 3 包含 1,000,000 条 768 维的向量数据。
-
数据集 4 包含 500,000 条1,536 维的向量数据。
测试对象
以下为测试时使用的实例,这些实例在硬件配置上基本相近:
-
Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例
-
Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例
-
Qdrant Cloud (4c16g-1node): Qdrant Cloud 4 CPU 16G 内存,使用 1 台机器的实例
每秒查询次数(QPS)
测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 2 倍和 1 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(1cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 2 倍,但 Zilliz Cloud (1cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。
每美元查询次数(QP$)
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 4 倍和 2 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 3 倍和 1 倍。
时延
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延均比 Qdrant Cloud 实例快 2 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别比 Qdrant Cloud 实例快 127 倍和 27 倍。
【结果:综合评分】
上图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的评分标准可以参考此处
https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。
上图展示了各实例在不同用例(https://zilliz.com/vector-database-benchmark-tool#comparison-section)下的性能评分(>1) 情况,分数越低,性能越强。
上述性能基准测试结果由开源的 VectorDBBench(https://github.com/zilliztech/VectorDBBench) 工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准(https://zilliz.com.cn/benchmark)。该工具有着良好的易用性,可以轻而易举地在众多向量数据库云服务和开源向量数据库中找到最佳选择。
02.Qdrant Cloud 特性对比
随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。
向量数据库为何而生
向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表示,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:
-
可扩展性和参数调节能力
-
多租户和数据隔离
-
完整的 API 套件
-
直观的用户界面和控制台
可扩展性
功能
专门打造
关于更多详情,请参见比较页面(https://zilliz.com.cn/comparison/milvus-vs-qdrant)。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
小红书万亿级社交网络关系下的图存储系统的架构设计与实践
本文由小红书基础架构存储组空洞和刘备分享,原题“小红书如何应对万亿级社交网络关系挑战?图存储系统 REDtao 来了!”,本文有修订和改动。 1、引言 小红书是一个社区属性为主的产品,它涵盖了各个领域的生活社区,并存储海量的社交网络关系。 为了解决社交场景下超大规模数据的更新与关联读取问题,并减少数据库压力和成本,我们自研了面向超大规模社交网络的图存储系统 REDtao,大大提高了系统稳定性。该系统借鉴了 Facebook 的图存储系统设计,将缓存和底层数据库封装起来,并对外提供统一的图查询 API,实现了访问收敛,同时在缓存中实现了高效的边聚合。 本文将为你分享小红书面向超大规模社交网络的图存储系统REDtao的架构设计与技术实践过程,希望能带给你启发。 2、关于作者 空洞:小红书基础架构存储组,负责图存储系统 REDtao 和分布式缓存的研发。 刘备:小红书基础架构存储组负责人,负责REDkv / REDtao / REDtable / REDgraph 的整体架构和技术演进。 基础架构存储组是给小红书的业务部门提供稳定可靠的存储和数据库服务,满足业务对存储产品的功能、性能、成本...
- 下一篇
聊聊 GPU 产品选型那些事
随着人工智能的飞速崛起,随之而来的是算力需求的指数级增加,CPU 已经不足以满足深度学习、大模型计算等场景的海量数据处理需求。GPU 作为一种强大的计算工具,无论是高性能计算、图形渲染还是机器学习领域,在各个领域展现出了巨大的潜力和应用前景。 说起 GPU,绕不过的当然是 NVIDIA 这个公司了,现在市面上火热的 A100/A800、H100 等 GPU 全是他家的产品。但当你有业务需求或者个人需求,想要采购 GPU 的时候,你会发现各个型号的 GPU 令你眼花缭乱。这次我们就来聊聊 NVIDIA 的 GPU 产品,让你对各个型号的 GPU 有个深入的了解。 GPU 应用场景 在选择 GPU 产品之前,首要任务是明确自己的应用需求。不同的应用领域对 GPU 的需求存在差异,因此了解自己的需求是做出明智决策的关键。接下来我们了解下常见的 GPU 应用场景。 游戏和图形渲染 我把游戏和图形渲染这个应用场景放在了第一位,并不是说它是 GPU 最常用的应用场景,而是很多小伙伴在学生时代就已经接触了“显卡”。GPU 不等于显卡,它是显卡的核心,就像 CPU 是主板上的一块芯片。GPU 刚被发明...
相关文章
文章评论
共有0条评论来说两句吧...