亲爱的 Databend 用户朋友们，大家好！🚀
这个七月，我们专注于优化一个核心目标：JSON 查询性能。最令人兴奋的是，我们对 Virtual Columns 功能进行了全面升级，效果显著——JSON 查询速度提升 3 倍，同时数据扫描量减少 26 倍！
本月成果速览
- 新增 25 + 实用功能
- 修复 25 + 影响体验的 bug
- 完成 20 + 项性能优化
- 其他改进 35 + 项
不过，最让人兴奋的，还是 JSON 性能的突破性提升。
重点功能一览
💎 核心升级
✓ Virtual Columns 性能飞跃：JSON 查询速度提升 3 倍，数据扫描量减少 26 倍
✓ 增强的 RBAC 权限管理：支持 connection 和 sequence 对象
✓ Shuffle 排序优化：大幅提高大规模有序数据集的性能
✓ 流式处理改进：Virtual Columns 支持流式数据
✓ 工作负载管理：新增基于内存百分比的资源配额
🛠 开发更顺手
✨ 40+ JSON 函数：全面覆盖 JSON 操作需求
✨ 多语法支持：兼容 Snowflake 和 PostgreSQL 语法
✨ 增强的 UDF：新增 IMMUTABLE 支持，性能更优
✨ 调试工具升级：metactl 工具更强大
⚡ 性能再突破
• 元服务优化：毫秒级精度，架构更优
• 查询优化：包括 grouping sets 重写等改进
• 内存管理：基于百分比的配额机制
🐛 稳定性提升
- 修复 25 + 个 bug：涵盖 JSON 处理、decimal 运算、查询执行等
- 改进错误处理：覆盖边缘情况和并发操作
- 提升事务可靠性：临时表和审计日志更稳定
深度解析：Virtual Columns 技术
🚀 Virtual Columns：自动化的 JSON 索引
我们对现有的 Virtual Columns 功能进行了全面优化，专为 JSON 工作负载量身打造。你可以把它看作是自动化的 JSON 索引——无需任何手动干预。
Virtual Columns 能够自动分析 JSON 数据结构，发现常用访问路径，并为这些路径生成独立的列索引。具体来说，当加载 JSON 数据时，系统会自动执行以下操作：
- 分析 JSON 文档的访问模式
- 为常用路径创建优化索引
- 将查询路由到这些快速索引，而不是每次都通过 jsonb 函数查询
示例 JSON：
{
"customer_id": 123,
"order": {
"items": [{"name": "Shoes", "price": 59.99}]
},
"user": {"name": "Alice", "email": "alice@example.com"}
}
自动创建的索引：
customer_id → 整数索引order.items[0].price → 数值索引user.name → 字符串索引
无需配置，无需维护，直接享受更快的查询速度。
📊 真实数据对比
以下是我们的测试结果：
优化前（传统 JSON 解析）：
SELECT data['account_balance'], data['address']['city']
FROM user_logs;
-- 耗时 3.76 秒，处理 11.90 GB 数据
优化后（自动 Virtual Columns 索引）：
-- 完全相同的查询
SELECT data['account_balance'], data['address']['city']
FROM user_logs;
-- 耗时 1.32 秒，处理 461 MB 数据
查询速度提升 3 倍，数据扫描量减少 26 倍，无需修改任何代码！
🔧 兼容多种 JSON 语法
我们支持你已经熟悉的多种 JSON 查询语法：
Snowflake 风格：
SELECT data['user']['name'] FROM customers; -- 方括号
SELECT data:user:name FROM customers; -- 冒号
SELECT data['user'].profile.name FROM customers; -- 混合语法
PostgreSQL 风格：
SELECT data->'user'->'name' FROM customers; -- 箭头
无论使用哪种语法，都能享受自动索引带来的性能提升。
未来展望：统一架构，持续进化
七月的 JSON 优化只是我们更大蓝图的一部分。我们正在构建一个统一的架构，以驾驭所有类型的数据：
多模态数据处理能力
- ✅ 结构化数据：世界一流的列式存储性能（已完成）
- ✅ 半结构化数据：自动 Virtual Columns 索引（七月里程碑）
- 🚀 非结构化数据：向量计算和存储，与谓词下推（八月预览）
🔮 八月预览：非结构化数据存储与计算
如果说七月是关于半结构化 JSON 的自动索引，那么八月将聚焦于非结构化数据。我们将推出全面的向量存储、计算和查询加速能力：
八月亮点：
- 向量化存储：原生 vector 数据类型，优化的列式存储
- HNSW 索引：加速相似性搜索，毫秒级查询响应
- 跨模态 SQL 联结：在单个查询中处理结构化、半结构化和非结构化数据
想象一下这样的查询：
-- 使用矢量嵌入查找相似产品
-- 同时分析其销售业绩（结构化数据）
-- 并提取 JSON 评论中的情感分析结果
-- 所有操作都在一个 SQL 查询中完成
SELECT p.product_name,
sales.total_revenue,
reviews.data['sentiment']['score'] as sentiment,
COSINE_SIMILARITY(p.embedding, :search_vector) as similarity
FROM products p
JOIN sales_data sales ON p.id = sales.product_id -- 结构化数据
JOIN product_reviews reviews ON p.id = reviews.product_id -- 半结构化 JSON
WHERE COSINE_SIMILARITY(p.embedding, :search_vector) > 0.8 -- 非结构化
AND reviews.data['sentiment']['score'] > 0.7
ORDER BY similarity DESC, total_revenue DESC;
为 AI 时代构建真正统一的数据平台 —— 结构化分析、JSON 查询和非结构化数据搜索无缝协作。无需数据迁移，无需多个系统，只需一个 SQL 查询即可处理所有数据类型。
开源地址：https://github.com/databendlabs/databend。
感谢一路相伴！我们下期再见~ ✨
关于 Databend
Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式湖仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。
👨💻 Databend Cloud：databend.cn
📖 Databend 文档：docs.databend.cn
💻 Wechat：Databend
✨ GitHub：github.com/databendlab…
