Apache Doris AI 能力揭秘（三）：AI_AGG 与 EMBED 函数深度解析-低调大师

Apache Doris AI 能力揭秘（三）：AI_AGG 与 EMBED 函数深度解析

2025-11-18 57

在初步探索了 AI 函数的可能性之后，本次我们将目光投向两个更为核心的函数：AI_AGG 和 EMBED。我们将深入解析这两个函数的设计理念、实现原理及其在业务场景中的应用，展示 Apache Doris 如何通过原生的函数设计，将文本聚合与语义向量分析无缝集成到 SQL 中，为用户提供更强大、更易用的智能数据分析体验。

AI_AGG：基于 AI 的文本聚合

聚合是数据分析中最常见的操作，但如果聚合的对象是海量的用户评论、支持工单或日志文本，传统的聚合函数难以直接处理这类非结构化文本数据。为此，Doris 支持了 AI_AGG，一个能够调用 AI 对文本进行聚合的函数。它让分析师可以根据自定义指令，从大量的文本中处理特定的任务。

01 使用方法及示例

AI_AGG 详细用法请参考： https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-functions/aggregate-functions/ai-agg

示例 1：

下表模拟一个简易的客服工单：

SELECT * FROM support_tickets;
+-----------+---------------+------------------+----------------------------------------------------------------------------------+
| ticket_id | customer_name | subject          | details                                                                          |
+-----------+---------------+------------------+----------------------------------------------------------------------------------+
|         2 | Bob           | Login Failure    | Same problem as Alice. Also seeing 502 errors on the SSO page.                   |
|         3 | Carol         | Payment Declined | Credit card charged twice but order still shows pending.                         |
|         5 | Eve           | Login Failure    | Getting redirected back to login after entering 2FA code.                        |
|         1 | Alice         | Login Failure    | Cannot log in after password reset. Tried clearing cache and different browsers. |
|         4 | Dave          | Slow Dashboard   | Dashboard takes >30 seconds to load since the last release.                      |
+-----------+---------------+------------------+----------------------------------------------------------------------------------+

我们可以通过 AI_AGG 对不同问题类型下客户的问题进行总结

SELECT
    subject,
    AI_AGG(
        details,
        'Summarize every ticket detail into one short paragraph'
    ) AS ai_summary
FROM support_tickets
GROUP BY subject;

输出示例如下：

+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| subject          | ai_summary                                                                                                                                                              |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Slow Dashboard   | The dashboard is experiencing slow loading times, taking over 30 seconds to load following the most recent release.                                                     |
| Payment Declined | A customer reports being charged twice for their order, which remains in a pending status.                                                                              |
| Login Failure    | Users are experiencing login issues, including 2FA redirection, post-password reset failures, and SSO 502 errors, despite clearing cache and trying different browsers. |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

示例 2：

下表简易模拟了应用反馈表：

SELECT * FROM app_feedback;
+-------------+----------------+-----------+--------------------------------------------------------------------------------------+
| feedback_id | feature_module | user_name | feedback_text                                                                        |
+-------------+----------------+-----------+--------------------------------------------------------------------------------------+
|           1 | 机票预订       | 李雷      | 搜索航班非常快，价格也透明，筛选功能很好用。                                         |
|           2 | 机票预订       | 韩梅梅    | 支付后出票速度有点慢，等了快半小时，希望能改进。                                     |
|           3 | 机票预订       | 小陈      | 希望能增加更多廉价航空公司的选项。                                                   |
|           4 | 机票预订       | 马丽      | App在选择日期的时候偶尔会卡顿，体验不是很好。                                        |
|           5 | 酒店预订       | 王先生    | 酒店信息很全，图片也真实。但是取消预订的流程太复杂了。                               |
|           6 | 酒店预订       | 刘女士    | 通过App预订比其他平台便宜，还有会员折扣，非常满意。                                  |
|           7 | 行程规划       | 赵四      | 行程规划功能太棒了，可以自动推荐路线和景点，省了不少心。                             |
|           8 | 客户服务       | 孙小小    | 联系客服很方便，问题解决得也很快，给客服点赞。                                       |
|           9 | 客户服务       | 钱多多    | 电话客服总是占线，在线客服回复又很慢，希望能增加人手。                               |
+-------------+----------------+-----------+--------------------------------------------------------------------------------------+

我们可以通过 AI_AGG 对用户反馈进行总结：

SELECT
    feature_module AS '功能模块',
    AI_AGG(
        feedback_text,
        '请用精确且尽可能简短地总结这些用户反馈中提到的主要问题和建议'
    ) AS 'AI反馈总结'
FROM app_feedback
GROUP BY feature_module;

输出示例如下

+--------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 功能模块     | AI反馈总结                                                                                                                                                                                                     |
+--------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 客户服务     | 主要问题：客服电话占线，在线客服回复慢。  
主要建议：增加客服人手。                                                                                                                                                |
| 行程规划     | 主要问题：无  
主要建议：赞赏行程规划功能，建议继续优化                                                                                                                                                        |
| 酒店预订     | 主要问题：取消预订流程复杂。
主要建议：无明确建议，但肯定App预订价格优势和会员折扣。                                                                                                                          |
| 机票预订     | 主要问题：支付后出票慢（约半小时），App日期选择卡顿，廉价航空公司选项不足。
主要建议：优化出票速度，修复App卡顿问题，增加廉价航空公司选项。                                                                   |
+--------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

02 AI_AGG 的实现原理

将聚合函数与 AI 结合，需要解决一个分组内文本总量可能远超模型上下文窗口的问题。如果将所有文本拼接后一次性发送给 AI，极易出现拼接文本大于模型的最大上下文窗口的情况，而 Doris 中通过动态预聚合解决了这个问题：

上下文监控：在聚合拼接文本的过程中，AI_AGG 会为每一个分组维护一个内部的文本缓冲区（目前大小固定为 128K，为绝大部分 AI 可兼容的上下文窗口）
动态预聚合：当新的文本行将要被加入缓冲区并会导致其大小超过阈值时，AI_AGG 会触发一次预聚合。它会暂停接收新数据，将当前缓冲区内的所有文本作为一个批次发送给 AI 进行一次中间任务处理。
上下文替换：AI 返回的中间处理结果，其长度通常远小于原始文本。AI_AGG 会用这个精炼后的摘要替换掉缓冲区内原有的长文本，从而为处理更多的新文本行腾出空间。为保证聚合过程的稳定性和防止超出模型服务上限，在替换原有文本后，若加入当前文本行还是会导致缓冲区超过阈值，AI_AGG 会直接报错退出。

通过这种实现方式，AI_AGG 可以完全融入 Doris 的分布式查询计划，利用多节点并行计算，并由数据库自动管理聚合过程中的中间状态。因此，用户可以用熟悉的 SQL 聚合语法，在海量文本上实现高效的智能分析。

EMBED: 文本向量化函数

EMBED 函数的核心功能是通过 AI 将任意文本转换为高维度的浮点数向量。这个向量是文本在语义空间中的一种数学表示，它捕捉了文本的语义信息。语义相近的文本，其向量在空间中的距离也更近。

EMBED 详细用法请参考： https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-functions/ai-functions/distance-functions/embed

01 使用方法及示例

示例 1：

下表模拟简易的行为手册

CREATE TABLE knowledge_base (
    id BIGINT,
    title STRING,
    content STRING,
    embedding ARRAY<FLOAT> COMMENT 'Semantic vector generated by EMBED function'
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 4
PROPERTIES (
    "replication_num" = "1"
);

INSERT INTO knowledge_base (id, title, content, embedding) VALUES
(1, "Travel Reimbursement Policy",
    "Employees must submit a reimbursement request within 7 days after the business trip, with invoices and travel approval attached.",
    EMBED("travel reimbursement policy")),
(2, "Leave Policy",
    "Employees must apply for leave in the system in advance. If the leave is longer than three days, approval from the direct manager is required.",
    EMBED("leave request policy")),
(3, "VPN User Guide",
    "To access the internal network, employees must use VPN. For the first login, download and install the client and configure the certificate.",
    EMBED("VPN guide intranet access")),
(4, "Meeting Room Reservation",
    "Meeting rooms can be reserved in advance through the OA system, with time and number of participants specified.",
    EMBED("meeting room booking reservation")),
(5, "Procurement Request Process",
    "Departments must fill out a procurement request form for purchasing items. If the amount exceeds $5000, financial approval is required.",
    EMBED("procurement request process finance"));

通过 EMBED 函数对文本的向量化操作，结合 Doris 支持的向量函数，可对数据进行如下操作：

问答检索（结合 COSINE_DISTANCE）

SELECT 
    id, title, content,
    COSINE_DISTANCE(embedding, EMBED("How to apply for travel reimbursement?")) AS score
FROM knowledge_base
ORDER BY score ASC
LIMIT 2;
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+--------------------+
| id   | title                       | content                                                                                                                                 | score              |
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+--------------------+
|    1 | Travel Reimbursement Policy | Employees must submit a reimbursement request within 7 days after the business trip, with invoices and travel approval attached.        | 0.4463210454563673 |
|    5 | Procurement Request Process | Departments must fill out a procurement request form for purchasing items. If the amount exceeds $5000, financial approval is required. | 0.5726841578491431 |
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+--------------------+

问题分析匹配（结合 L2_DISTANCE）

SELECT 
    id, title, content,
    L2_DISTANCE(embedding, EMBED("How to access the company intranet")) AS distance
FROM knowledge_base
ORDER BY distance ASC
LIMIT 2;
+------+-----------------------------+---------------------------------------------------------------------------------------------------------------------------------------------+--------------------+
| id   | title                       | content                                                                                                                                     | distance           |
+------+-----------------------------+---------------------------------------------------------------------------------------------------------------------------------------------+--------------------+
|    3 | VPN User Guide              | To access the internal network, employees must use VPN. For the first login, download and install the client and configure the certificate. | 0.5838271122253775 |
|    1 | Travel Reimbursement Policy | Employees must submit a reimbursement request within 7 days after the business trip, with invoices and travel approval attached.            |  1.272394695975331 |
+------+-----------------------------+---------------------------------------------------------------------------------------------------------------------------------------------+--------------------+

根据文章内容进行文本相关度匹配并推荐（结合INNER PRODUCT）

SELECT 
    id, title, content,
    INNER_PRODUCT(embedding, EMBED("Leave system request leader approval")) AS score
FROM knowledge_base
WHERE id != 2
ORDER BY score DESC
LIMIT 2;
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+---------------------+
| id   | title                       | content                                                                                                                                 | score               |
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+---------------------+
|    5 | Procurement Request Process | Departments must fill out a procurement request form for purchasing items. If the amount exceeds $5000, financial approval is required. |    0.33268885332504 |
|    4 | Meeting Room Reservation    | Meeting rooms can be reserved in advance through the OA system, with time and number of participants specified.                         | 0.29224032230852487 |
+------+-----------------------------+-----------------------------------------------------------------------------------------------------------------------------------------+---------------------+

寻找差异较小的内容（结合L1_DISTANCE）

SELECT 
    id, title, content,
    L1_DISTANCE(embedding, EMBED("Procurement application process")) AS distance
FROM knowledge_base
ORDER BY distance ASC
LIMIT 3;
+------+-----------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+--------------------+
| id   | title                       | content                                                                                                                                        | distance           |
+------+-----------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+--------------------+
|    5 | Procurement Request Process | Departments must fill out a procurement request form for purchasing items. If the amount exceeds $5000, financial approval is required.        |  18.66882028897362 |
|    4 | Meeting Room Reservation    | Meeting rooms can be reserved in advance through the OA system, with time and number of participants specified.                                |  30.90449328294426 |
|    2 | Leave Policy                | Employees must apply for leave in the system in advance. If the leave is longer than three days, approval from the direct manager is required. | 31.060405636536416 |
+------+-----------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+--------------------+

EMBED 的设计不仅是一个文本向量化工具，更是 Doris 向量分析生态的重要组成部分。 通过与其他向量函数（COSINE_DISTANCE， L2_DISTANCE， INNER_PRODUCT， L1_DISTANCE ）的无缝集成，EMBED 支持用户在 SQL 查询中完成从文本到向量，再到相似度计算或检索的一站式分析。

示例 2：

下表模拟简易的客服常见问题文档：

CREATE TABLE support_docs (
    id BIGINT,
    title STRING,
    content STRING,
    embedding ARRAY<FLOAT> COMMENT '由 EMBED 函数生成的语义向量'
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 1
PROPERTIES ( "replication_num" = "1" );

INSERT INTO support_docs (id, title, content, embedding) VALUES
(1, "系统登录问题排查",
    "当用户无法登录时，请先检查网络连接、浏览器缓存，并确认账号未被锁定。",
    EMBED("登录问题排查 网络异常 账号锁定")),
(2, "数据备份与恢复指南",
    "客户可在管理后台手动备份数据，若误删可通过支持团队申请数据恢复。",
    EMBED("数据备份 恢复 操作指南")),
(3, "账单与发票问题",
    "企业客户可在财务模块下载电子发票。如需纸质版，请提交申请工单。",
    EMBED("账单 发票 财务模块")),
(4, "API 接口调用规范",
    "开发者在调用 API 时需携带正确的访问令牌，否则将返回身份验证错误。",
    EMBED("接口调用 认证错误 访问令牌")),
(5, "服务中断应急流程",
    "若出现服务中断，技术团队需在30分钟内启动应急响应并发布公告。",
    EMBED("服务中断 应急响应 处理流程"));

通过 EMBED 函数对文本的向量化操作，结合 Doris 支持的向量函数，可对数据进行如下操作：

问答检索（结合 COSINE_DISTANCE）

SELECT 
    id, title, content,
    COSINE_DISTANCE(embedding, EMBED("登录不上系统怎么办？")) AS score
FROM support_docs
ORDER BY score ASC
LIMIT 2;
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+
| id   | title                    | content                                                                                                | score     |
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+
|    1 | 系统登录问题排查         | 当用户无法登录时，请先检查网络连接、浏览器缓存，并确认账号未被锁定。                                   | 0.3183002 |
|    4 | API 接口调用规范         | 开发者在调用 API 时需携带正确的访问令牌，否则将返回身份验证错误。                                      | 0.5599254 |
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+

问题分析匹配（结合 L2_DISTANCE）

SELECT 
    id, title, content,
    L2_DISTANCE(embedding, EMBED("接口调用时提示没有权限")) AS distance
FROM support_docs
ORDER BY distance ASC
LIMIT 2;
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+
| id   | title                    | content                                                                                                | distance  |
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+
|    4 | API 接口调用规范         | 开发者在调用 API 时需携带正确的访问令牌，否则将返回身份验证错误。                                      | 0.6471552 |
|    1 | 系统登录问题排查         | 当用户无法登录时，请先检查网络连接、浏览器缓存，并确认账号未被锁定。                                   | 0.9831962 |
+------+--------------------------+--------------------------------------------------------------------------------------------------------+-----------+

根据文章内容进行文本相关度匹配并推荐（结合INNER PRODUCT）

SELECT 
    id, title, content,
    INNER_PRODUCT(embedding, EMBED("账单 发票 报销流程")) AS score
FROM support_docs
ORDER BY score DESC
LIMIT 2;
+------+--------------------------+-----------------------------------------------------------------------------------------------+-----------+
| id   | title                    | content                                                                                       | score     |
+------+--------------------------+-----------------------------------------------------------------------------------------------+-----------+
|    3 | 账单与发票问题           | 企业客户可在财务模块下载电子发票。如需纸质版，请提交申请工单。                                | 0.8098868 |
|    5 | 服务中断应急流程         | 若出现服务中断，技术团队需在30分钟内启动应急响应并发布公告。                                  | 0.3729638 |
+------+--------------------------+-----------------------------------------------------------------------------------------------+-----------+

寻找差异较小的内容（结合L1_DISTANCE）

SELECT 
    id, title, content,
    L1_DISTANCE(embedding, EMBED("服务中断 处理 指南")) AS distance
FROM support_docs
ORDER BY distance ASC
LIMIT 3;
+------+-----------------------------+--------------------------------------------------------------------------------------------------------+----------+
| id   | title                       | content                                                                                                | distance |
+------+-----------------------------+--------------------------------------------------------------------------------------------------------+----------+
|    5 | 服务中断应急流程            | 若出现服务中断，技术团队需在30分钟内启动应急响应并发布公告。                                           | 13.94832 |
|    2 | 数据备份与恢复指南          | 客户可在管理后台手动备份数据，若误删可通过支持团队申请数据恢复。                                       | 24.65827 |
|    1 | 系统登录问题排查            | 当用户无法登录时，请先检查网络连接、浏览器缓存，并确认账号未被锁定。                                   |  24.9747 |
+------+-----------------------------+--------------------------------------------------------------------------------------------------------+----------+

02 灵活的向量维度控制

通过 Doris 内置的 RESOURCE 机制，用户在配置 AI Resource 时，可以设置 ai.dimensions 参数来精确指定生成向量的维度。用户可以根据具体的业务场景和性能考量，选择生成高维向量以保留更丰富的语义信息，或选择低维向量以节约存储空间和加速计算。这种灵活性使得 EMBED 函数能够更好地适应从轻量级语义匹配到高精度向量检索等多样化的分析需求，让用户在成本与效果之间找到最佳平衡。

注意：在使用 dimensions 参数时，请务必确认 RESOURCE 中配置的模型支持您所指定的维度，否则可能导致请求错误。此外，Doris 内部对部分不支持维度定制的模型（例如 OpenAI 的 text-embedding-ada-002）做了限制。对于这些模型，即使在 RESOURCE 中设置了 dimensions 参数，该设置也将被忽略，函数将返回模型默认的维度。

总结与展望

借助AI_AGG 与 EMBED 函数，Apache Doris 拥有了了强大的智能分析能力，极大地拓展了数据分析与智能应用的边界。AI_AGG 通过其动态预聚合机制，将非结构化文本的智能聚合分析带入数据库，轻松应对海量用户评论、日志分析等场景。而 EMBED 函数则与 Doris 的向量函数无缝集成，提供从文本到语义向量、再到相似度检索的一站式解决方案，极大简化了问答系统、内容推荐等应用的开发。这些功能使得 SQL 语言本身具备了驾驭 AI 模型的能力，让每一位数据分析师都能以低成本、高效率的方式，挖掘数据中更深层次的语义价值。

展望未来，Doris 将继续深化 AI 与数据库的融合。我们将致力于优化模型调度与计算性能，并探索更多如多模态数据分析、AI Agent 交互等前沿功能，持续降低 AI 技术的使用门槛，让数据驱动的智能决策无处不在。

微信关注我们

原文链接：https://my.oschina.net/selectdb/blog/18755414

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

AI+低代码不是“简单工具”，是“涡轮”：把数字化从“项目制”拉回“产品化”（以 Oinone 为例）

低代码的核心价值不止省时省力，而是把业务、平台与AI能力拧成一台可持续迭代的“产品化引擎”。当企业把低代码纳入数字化总战略，并配齐平台、治理、赋能、协作这四套“齿轮”，效率自然提升，更重要的是——竞争门槛被提高。 01｜业务技术二手抓业务与 IT 深度融合：让业务“能上手”，让 IT “管得住”。传统“需求—评审—返工”的拉扯被替换为业务共创 + 平台治理的新范式。应用资产沉淀复用：从“代码堆”转向“数字化积木库”，复用曲线随时间加速，创新周转更快。 AI 能力落地的土壤：低代码是 AI 的“跑道”，把审批自动化、智能推荐等 AI 应用变成可集成、可编排、可治理的常态能力。对 CIO 的建议：把低代码纳入企业数字化顶层设计，搭建“平台—治理—赋能—协作”的完整能力体系；先搭体系者赢在复利。演示环境相关视频 ⚡ 直达演示环境 ☕ 账号：admin ☕ 密码：admin 🎬 1. [数式Oinone] #产品化演示# 后端研发与无代码辅助 🎬 2. [数式Oinone] #产品化演示# 前端开发 🎬 3. [数式Oinone] #个性化二开# 后端逻辑 🎬 4. [数式O...

2025-11-18

74

出海的拐点与挑战近年来，中国SaaS行业迎来了发展的拐点。国内市场日渐饱和，头部厂商几乎覆盖了大部分优质客户，依靠「上线即成功」的惯性已难以为继。越来越多的厂商将目光投向海外，试图寻找第二增长曲线。然而海外市场绝非一帆风顺。调研显示，约三分之二的中国SaaS出海企业都遭遇了不同程度的挑战，仅有约三分之一取得了一些成绩，而成功者往往具备更强的国际化基因和本地洞察。这意味着，简单地将国内产品翻译后推向海外，远不足以复制昔日的成功。在全球不同地区，企业规模、付费习惯、法律合规及文化差异都对SaaS产品提出了全新的要求。传统思维中“产品上线=市场认可”的公式被打破，取而代之的是对本地化深度、持续价值交付和用户采纳程度的更高要求。演示环境相关视频 ⚡ 直达演示环境 ☕ 账号：admin ☕ 密码：admin 🎬 1. [数式Oinone] #产品化演示# 后端研发与无代码辅助 🎬 2. [数式Oinone] #产品化演示# 前端开发 🎬 3. [数式Oinone] #个性化二开# 后端逻辑 🎬 4. [数式Oinone] #个性化二开# 前端交互 🎬 5. [数式Oinone] ...

2025-11-18

46

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。