被 ChatGPT 点燃的向量数据库们-低调大师

被 ChatGPT 点燃的向量数据库们

2023-05-09 546

在 AIGC 革命大爆发的日子，一个特别的挑战是大规模存储和查询非结构化数据（比如图像、视频、文本）的能力。

为了快速搜索和理解非结构化数据，现在的普遍解法是使用向量数据库（vector database）。在向量数据库中，向量是一等公民，所有的功能都是围绕着它建立的。

向量数据库可以让开发者以向量嵌入的形式处理非结构化数据（两个向量之间的距离代表了它们的关联性），这对于使用和扩展大型语言模型（LLM）尤为重要，比如 OpenAI 的 Retrieval 插件就依靠向量数据库帮助用户从他们的数据源获得相关文件片段。

这个领域很新，连 OpenAI 自己都搞不太清楚，Milvus 和 Zilliz 是同一家🤣。

几乎所有由 LLM 驱动的 AI 产品或技术都使用了向量数据库，随着 ChatGPT 和 AI 的流行，VC 也都涌向了这条赛道。我们收集了一些近期向量数据库融资的消息：

Pinecone: 4.27 宣布 $100M B 轮
Weaviate: 4.23 宣布 $50M B 轮
Qdrant: 4.20 宣布 $7.5M 种子轮
Chroma: 4.6 宣布 $18M 种子轮
Zilliz: (去年) 8.20 宣布 $103M B 轮

已经挤起来了，不过每家都有不同的功能、性能和价格，我们来了解一下。

Pinecone

Pinecone 是个全托管的 SaaS 向量数据库厂商（支持 GCP & AWS），团队分布在纽约，三藩和特拉维夫。2021 年 1 月公开了 Beta 版和 $10M 种子轮融资；同年 9 月，发布了 Pinecone 2.0，也宣布了他们全新基于使用的定价方案，其中包括免费版、标准版和企业版。

2022 年间他们用 Rust 重写了一遍（过去是 C/C++ 和 Python 写的），虽然过程无比艰辛，但是结局很美好：产品性能和开发速度都得以提高。

Milvus / Zillliz

Milvus 创建于 2019 年，是一个为可扩展的相似性搜索而建立的开源向量数据库，它基于 Facebook AI Similarity Search (Faiss), Non-Metric Space Library (NMSLIB) 和 Annoy，并额外扩展了它们的功能。

Zilliz Cloud 是基于 Milvus 的 SaaS 服务，有 30 天免费试用和 credit。

Weaviate

Weaviate 总部位于荷兰，一个开源的向量数据库，可以同时存储对象和向量，开发者可以很容易地创建自己的语义系统或向量搜索引擎。

Weaviate 前几天刚宣布了他们的 Cloud Service 进入了公测，大家可以去试用（Sandbox 版有 14 天免费）！

Qdrant

Qdrant 于 2021 年在柏林成立，使用 Rust 编写，是一个为 AI 开发者打造的向量搜索引擎和非结构化数据的数据库。Qdrant 是开源的，用户可以直接下载使用，今年年初起推出了云服务 Qdrant Cloud，已经有超过 1000 个 Qdrant 集群正在提供服务了。

Chroma

Chroma 是一个开源的向量嵌入存储。虽然 2023 年 2 月才正式推出，在过去的一个月已经有 35K 次下载了，它现在只有免费的开源版使用，应该很快会推出托管版本。

看了一下 Chroma 种子轮的投资人，除了几大 VC，还有不少 startup 创始人和业内名人的投资，应该是人气最佳选手了。

pgvector

对于现有数据库解决方案，储存向量通常只是一种附加功能，没有经过优化，也缺乏基本的功能。不过， pgvector 是 PostgreSQL 的插件，允许你在数据库中存储和查询向量嵌入。如果你用 PostgreSQL，或者 pg 生态圈的产品比如 Neon，Supabase，bit.io，可以试试这个插件。

https://neon.tech/blog/building-an-ai-powered-chatbot-using-vercel-openai-and-postgres
https://supabase.com/blog/openai-embeddings-postgres-vector
https://innerjoin.bit.io/vector-similarity-search-in-postgres-with-bit-io-and-pgvector-c58ac34f408b

Redis

大多数人用 Redis 应该都只是作为一个缓存来使用，不过它有一个 use case 是向量数据库，其实就是通过一些扩展模块，比如 RediSearch，Vector Similarity Search (VSS)，来实现向量存储和查询（不过只有企业版才能用这些功能）。

总结一下

AIGC 的爆发带动了许多附属产品和生态的增长，向量数据库就是其中一员。此情此景，也让人不禁想起当年 Web 2.0 所引发的 NoSQL 革命。谁能成为向量数据库领域的 MongoDB，DynamoDB？而哪些则会像 Couchbase，NuoDB，Riak，RethinkDB 退出历史的舞台？让我们拭目以待吧。

参考

https://platform.openai.com/docs/guides/embeddings/
https://innerjoin.bit.io/why-you-should-care-about-vector-databases-1760186b5bf1
https://analyticsindiamag.com/why-are-investors-flocking-to-vector-databases/

微信关注我们

原文链接：https://my.oschina.net/u/6148470/blog/8725017

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【湖南大学站】openKylin 高校沙龙来啦~

2023-05-09

360

作者：罗健文李来云服务开发工程师在生产场景中部署的服务提供者常因业务升级或其他场景需要下线和上线的部署操作，本文总结了应用在上下线过程中会遇到的典型问题，并思考在虚机和容器场景该如何处理这些问题，规避该过程中可能出现的服务消费者的请求失败，实现应用的优雅上下线。一、微服务应用上/下线发布过程中存在的问题在应用上下线发布过程中，如何做到流量的无损上/下线，是一个系统能保证SLA的关键。如果应用上下线不平滑，就会出现短时间的服务调用报错，比如连接被拒绝、请求超时、没有实例和请求异常等问题。 1.1上线过程中的问题在应用上线发布过程中，由于过早暴露服务，实例可能仍处在JVM JIT编译或者使用的中间件还在加载，若此时大量流量进入，可能会瞬间压垮新起的服务实例。我们在实际场景中，曾经遇到provider服务启动后，但是数据库连接出现异常，未做好启动前的资源准备，导致该provider服务在注册中心暴露后DB异常还未修复，无法正常提供被consumer调用的能力，导致大量请求异常返回。如下图日志所示，应用初始化时，DB连接失败（该服务对DB是弱依赖）。 1.2下线过程中的问题在...

2023-05-09

518

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。