Databend 八月月报：向量检索重磅上线，性能飞跃几十倍
Hi，Databend 的朋友们！🚀
八月我们重磅推出：基于对象存储的向量检索功能。通过 HNSW 索引算法实现了相似性搜索 23 倍性能提升，AI 应用终于可以在对象存储上高效运行了。结合我们已有的结构化数据和 JSON 处理能力，Databend 现在是完全基于对象存储构建的多模态数据仓库。
八月数据
15+ 个新功能，20+ 个 bug 修复，15+ 项性能优化。最亮眼的还是向量检索，让 AI 应用在对象存储上也能获得极致性能。
本月亮点
🔥 重磅功能
- HNSW 向量检索 - 基于 HNSW 索引，相似性搜索快 23 倍
- 时间切片函数 - 时序数据分析更强大
- JSON5 解析增强 - JSON 处理更灵活
⚡ 性能和稳定性
- 防栈溢出 - 解决了 CTE 和物理计划的递归溢出
- 内存管理升级 - 大数据操作的溢出配置更合理
- Meta 服务优化 - 压力减少 40%
- 向量检索稳定性 - 修复了刷新时丢数据的问题
向量检索
📊 23 倍性能提升
优化前：
SELECT title, cosine_distance(embedding, :query) as score
FROM documents ORDER BY score LIMIT 10;
-- 8.2 秒，全表扫描
优化后（HNSW 索引加速）：
-- 一模一样的查询
SELECT title, cosine_distance(embedding, :query) as score
FROM documents ORDER BY score LIMIT 10;
-- 0.35 秒，索引加速
🎮 生产验证：游戏行业成功实践
在 Databend Cloud 上，已有多家游戏公司在生产环境使用向量检索：
- 游戏推荐系统：基于玩家行为特征向量，实时推荐游戏内容和商品
- 用户画像分析：通过玩家行为向量聚类，精准识别用户类型和价值
- 反作弊检测：利用行为特征向量，快速识别异常玩家行为模式
- 内容匹配：根据玩家偏好向量，智能匹配游戏关卡和活动
这些客户的真实业务需求持续推动着我们的技术改进，让向量检索功能越来越成熟可靠。
🚀 快速上手指南
语义搜索三步搞定：
1. 建表加索引
CREATE TABLE products (
id INT,
name VARCHAR,
embedding VECTOR(1024),
-- 自动获得 23 倍加速，HNSW 索引存储在对象存储
VECTOR INDEX idx(embedding) distance='cosine'
);
2. 插入数据
INSERT INTO products VALUES
(1, 'Wireless Headphones', [0.1, 0.2, ...]::VECTOR(1024)),
(2, 'Bluetooth Speaker', [0.3, 0.1, ...]::VECTOR(1024));
3. 高性能搜索
-- 毫秒级响应
SELECT name FROM products
ORDER BY cosine_distance(embedding, :search_vector)
LIMIT 5;
支持三种距离算法：
- Cosine（余弦） - 文本语义相似性
- L2（欧式距离） - 图像视觉相似性
- L1（曼哈顿距离） - 特征对比分析
多模态数据仓库的价值
Databend 在对象存储上支持三大类数据的统一处理：
🏗️ 结构化数据 - 传统行列数据，列式存储高性能分析
📄 半结构化数据 - JSON文档，虚拟列技术 3 倍加速（七月）
🔍 非结构化数据 - 向量嵌入，HNSW 索引加速检索 23 倍（八月）
💰 成本优势
传统方案： 多系统拼凑
- 结构化数据：ClickHouse/PostgreSQL
- JSON 数据：MongoDB/Elasticsearch
- 向量搜索：Pinecone等专用向量数据库
- 复杂的数据管道连接各系统
Databend 方案： 统一平台
- 所有数据类型存储在对象存储，成本降低 80%
- 一套 SQL 处理所有数据类型，开发效率大幅提升
- 无需数据搬迁和系统整合
🎯 实际应用
现在你可以用纯 SQL 搭建完整的 AI 应用 —— 推荐系统、语义搜索、RAG 知识库，各种数据类型无缝配合。
Databend：多模态数据仓库，为 AI 应用而生
🔗 立即体验
