一、导语

在人工智能技术快速演进的时代，大型语言模型和AI智能体已成为各类应用的核心组件，引发AI相关API流量的指数级增长。而大模型网关，正是这场变革中应运而生的智能交通枢纽。

随着DeepSeek、Qwen等开源模型及各类商用大模型的普及，企业AI应用场景日益丰富，从智能客服自动化到代码生成与软件开发，从金融法律分析到内容生成引擎，AI正深度融入企业核心业务流程。

这种深度融合使得企业不仅使用SaaS化的LLM服务，更在私有化环境中微调、部署LLM模型，形成混合云架构，随之带来了多LLM适配管理、成本失控、数据安全和可靠性保障等系列挑战。

二、大模型网关：AI流量的智能调度中心

大模型网关是为AI工作负载专门设计的网关解决方案。它作为连接业务与AI基础设施的统一端点，为应用程序和模型之间的AI流量提供全面的管控能力。

与传统API网关不同，大模型网关针对AI请求的特有模式进行了专门优化。传统API网关专注于通用数据流量，基于RESTful API和静态请求响应设计，而大模型网关则专门应对AI工作负载的特殊需求，比如，长时与流式响应、复杂输入输出、高资源消耗与批处理、上下文与状态管理、专属监控与计量、关注成本与业务效果，等等。

大模型网关的核心能力主要体现在几个维度：模型市场、模型体验、模型调度、模型成本和稳定性（可观测性、容量管理、模型流控、服务告警）。

其中稳定性是大模型网关的"压舱石"，确保服务高可用、可管理、可追溯。容量管理可根据业务流量预估预先配置好足够的模型TPM额度，避免突发流量导致服务不可用或影响别的业务使用。模型观测提供实时监控每个模型健康状态、响应延迟、成功率等关键指标。模型流控可做到Key和模型粒度的TPM、QPS流量控制，一旦业务请求突破限流阈值，将依据流控规则进行限流。服务告警能力目标是借助Flink实时计算能力提供用户分钟级别的模型服务异常实时告警能力。

三、自建缘由：得物AI部署的四大挑战

随着AI在得物的应用场景不断深入，其帮助公司提升效率和降低成本的潜力被广泛挖掘。然而，我们在这一过程中面临一系列严峻挑战。

避免资源浪费并提升效率

在实际场景中，得物需要同时使用很多个AI模型，包括开源模型、商用模型及自建模型，这些模型的API接口、数据格式和调用方式各异。

如果每个业务域单独建设接入能力，会导致技术栈碎片化和重复开发，形成一个个"烟囱"，造成公司资源浪费。另外，如果每个开发团队都需要直接与各种AI模型的API对接，开发者必须学习每个AI API和AI平台，实现供应商特定的代码，会显著降低开发效率。

保障内外部模型成本可控

据估算，得物12月份调用大模型的Token消耗量已达数千亿规模，是1月份用量的20.63倍，仅Token调用单月成本就是一笔相当大的金额。若业务各自直接对接公有云模型服务，可能导致模型使用和成本失控。因此，必须依托大模型流量统一入口建设一套完整的成本管控体系。

保障接入外部模型数据安全

将敏感信息传输到外部LLM提供商引发了关于数据隐私、法规合规性（如PIPL和GDPR）以及潜在数据泄露的担忧。为了保障数据安全，我们考虑自建。

保障模型服务运行稳定可靠

模型网关需解决以下核心稳定性问题：

• 延迟与成功率波动：模型服务受底层算力限制，普遍存在低限流阈值，且响应延迟与调用成功率波动显著大于传统API。
• 基于Key的容量管理：模型服务通常设置固定限流阈值，易导致不同业务场景间流量相互挤占，影响全局可用性。
• 实时告警与可观测性：需在服务异常或触发限流时第一时间告警，同时完整记录请求日志（含Prompt及来源IP），便于问题追踪。
• 基于Token的精准限流：应建立以Token数量（而非调用次数）为基准的配额管理机制，从根源防止资源滥用，保障业务平稳运行。

四、行业实践：大模型网关的多元解决方案

大模型网关作为大模型应用的关键中间层，近年来随着企业级AI应用部署的加速而快速发展，以实现AI能力的统一、高效、可控管理。

目前市场上有多种大模型网关解决方案，它们在商业模式和核心能力上都各有特色。这里笔者将各类网关产品进行了梳理与汇总，以便读者大致了解行业现状。

AI网关主要参与者及产品

五、实施策略：构建企业大模型网关的六步法

对比行业落地大模型网关的案例，针对得物实际业务情况，在内部落地大模型网关时，我们制定了六个方面的策略。

打造信息丰富的模型市场

随着大模型在得物内的广泛深入应用，从B/C端创新到后端效能提升，场景愈发丰富复杂。加之自研/自部署（如 Qwen、DeepSeek）与内外厂商模型层出不穷，模型供给呈现分散与混乱，业务选型门槛抬高，往往从调研、验证到上线需耗时1~2天，极大增加了业务接入AI的难度。

为此，网关对接入模型进行统一梳理，打造信息完备的"模型市场"。本质上是一个"AI 模型应用商店"，将分散混乱、高门槛的选型流程，重构为集中、透明、可量化评估的标准化路径。

大模型市场

通过统一模型市场，网关构建覆盖发现、评测、验证与集成的完整闭环：

• 模型纳管：集中管理来自自研与内外部厂商的多样化模型，形成内部"模型货架"，消除信息碎片；原生支持托管与上云对接。
• 评测对比：支持文本生成、图像理解/生成等对比测试，可将真实业务问题一键投递给多模型直观比拼，显著降低试用门槛。
• 一站式接入：选定模型后即可查看 API 接入指南，完成"选型-试用-接入"的闭环，大幅提升对接效率。
• 运营与推荐：提供模型推荐能力，按效果与性价比打标、置顶，缩短选型时间并助力降本。

通过建设模型市场，实现了模型接入的统一化与标准化，模型上架和接入效率显著提升。模型上架时间从1~2天降低到 10 分钟内，试用从 1 天降低到 5 分钟以内。

统一各业务模型服务入口

通过建设OpenAI like风格的统一访问API和模型服务调度能力，网关将绝大部分AI模型服务的访问集中到单一入口，使不同业务线无需关注后端模型的具体实现细节，也能实现不同厂商模型服务之间的容灾。

模型调度策略与OpenAI like风格API

建设全流程成本管控体系

在成本治理和优化上，围绕"源头管控、成本感知、模型调度、厂商折扣和成本监控"等方面着手闭环能力搭建。打通了从预算申请、模型选型、接入调用，到运行观测、成本结算的全链路，实现了精准的成本治理与优化。

具体表现为，在3、4季度token用量分别较前一季度增长2.52倍和2.16倍的情况下，每百万Token的成本分别降低50%+和45%+，降本额度也相当可观，达到数百万元，在保证业务体验的前提下有效压降了模型使用成本。

总体降本思路&策略

目前正在搭建精细化降本能力，其核心思路是：通过构建Key/模型/厂商/项目维度的成本大盘、构建各外部厂商各类别模型均价大盘（发现更有性价比的模型）、建设用量和成本每周主动推送机制、完善成本预警/告警体系等措施，促使业务依据成本和价格数据主动进行成本治理。

全流程降本能力体系

持续夯实稳定性架构能力

在架构能力建设上，围绕"高可用、可控成本、稳定体验"三大目标，重点建设了限流、调度和容灾三类核心架构能力，可实现分钟级容灾切换，为大规模、多模型、多业务场景下的稳定运行提供基础保障。

• 容量管理与限流

通过建设模型容量的配置化管理机制，实现按Key/项目等维度的TPM容量管理体系；若业务流量（token）超过阈值，便触发限流及容量告警。

• 模型调度与容灾

模型调度能力可帮助我们实现厂商间模型粒度的分钟级容灾。具体做法是：若检测到当前API Key配置有模型调度策略，则模型调度器便将请求按配置规则执行调度，并将选中的模型交付给模型路由模块，由路由模块封装后将请求转发到对应厂商的模型服务实现。

模型调度与路由

建设分钟级实时观测能力

在AI规模化应用时代，没有分钟级观测体系的模型网关，就像没有仪表盘和刹车的F1赛车------速度越快，风险越大，毁灭性越强。因此，必须建设完善的模型调用/用量/成本的分钟级观测（监控+告警）体系。

• 模型调用/用量/性能观测。目前已实现Key和模型粒度的模型调用、token用量的监控大盘，如下图所示：

调用/用量监控分时（基于Key）

调用失败率和平均RT（基于Key）

RPM/TPM监控分时（基于Key）

端到端平均RT监控分时（基于Key）

用量监控分时（基于模型）

性能监控分时（基于模型）

• 模型成本观测。模型成本观测方面，正在实现模型、Key、厂商、项目等粒度的实时监控大盘，以及日/周/月/指定时间维度汇总的成本数据大盘。

• 模型异常告警。模型服务告警方面，当前正在基于Flink实施计算和Kafka事件订阅机制建设一套基于模型和Key的实时告警体系，让业务对自己的模型调用异常能在3分钟以内通过飞书告警感知。

建设Key生命周期管理能力

通过API Key管理产品化能力建设，实现了API Key申请工单及自动分发、Key场景/负责人/共享人/状态管理和黑名单功能，并依托API Key实现接口鉴权、预算管理（预算分配/预算消耗/预算预警）、容量管理、模型调度等核心功能及关键流程节点的规范化管理。

六、创新亮点：大模型网关的核心技术突破

模型网关瞄准"效率-成本-稳定性-安全&合规"着力平台建设，并继续在成本管控、模型接入效率、服务稳定性、模型监控/告警等方面持续创新：

• 构建全流程成本管控体系。 通过预算与 API Key 申请自动化、用量监控、成本展示、超额预警与告警、智能调度、用量与成本大盘等能力，形成"预算申请---调用监控---预算预警---模型调度---费用查看"的闭环管控。

• 实现跨厂商的模型级容灾。 通过在网关配置显式或默认的调度策略，将请求优先分配至性价比更高的模型，既实现不同厂商间的模型级容灾，也成为降本利器。

• 实现厂商无感的接入体验。 网关统一分发 API Key 并提供统一的模型服务 API，业务无需关心各厂商的入参/出参差异，即可获得一致的接入体验并显著提升效率。

• 便捷高效的模型选型体验。 依托模型市场、试用预算池、试用与效果对比、推荐板块等功能，在控成本前提下为用户提供快捷选型路径，助力在层出不穷的模型中快速锁定理想方案。

• 分钟级用量与成本观测。 已构建近实时（分钟级）运行监控，覆盖调用量、失败次数/率、RT、TPM、RPM等关键指标；并在开发基于 Key 与模型粒度的成本实时观测与离线报表，支持按周将成本汇总推送给调用方。

七、应用收益：从成本节约到效能提升

得物部署大模型网关后，经过「模型网关升级」项目建设，取得如下效果：

(1) 网关平台从0~1搭建起来。 模型网关从单一的纯后台服务进化为面向管理员和研发/产品/运营用户的平台化产品；不再只是模型访问的"管道"，而是集模型集市、模型调度、成本治理、创新实验于一体的支撑整个组织进行AI创新的入口平台。

(2) 内外部模型100%纳管。 从0~1建成对接得物（KubeAI）百度/阿里/字节/华为/微软/谷歌模型服务的模型集市，完成内外部模型100%纳管，新模型上架/接入只需在平台一键配置，无需新写实现逻辑。

(3) 模型接入效率提升97%。 管理各云商和自建模型140个，单模型平均上架时间从1~2天降低到 10 分钟内，接入效率提升97+%；模型试用与效果评估过程从 1 天降低到 5 分钟以内，效率提升98%+。

(4) H2节省成本数百万元。 依托模型调度切换能力和统一API建设，以及降本方法论推广，Q3、Q4在用量均较前一季度翻倍的情况下，实现每百万token成本连续分别降低51.52%和48.37%。两季共实现降本额度达数百万元，并且随着用量增加降本收益将越来越明显。

八、未来展望：从大模型网关向AI网关演进

大模型网关的未来发展将向如下几个方向演进：

首先，模型网关继续承担大模型成本管控主体责任，继续通过强化数据分析能力推进精细化降本，落地Qwen系列自建模型通过云商托管方式降本。

其次，围绕标准化与生态兼容，网关将引入并适配 MCP（模型上下文协议）；实现API同时兼容多厂商与多形态模型（文本、图像、语音、视频与多模态），在保持一致体验的前提下实现跨生态的无缝互通与扩展。

另外，API网关正从单纯的流量管理工具转变为AI编排平台，将在已有的模型调度能力基础上建设更强大的工作流与多模型协同机制，能根据成本、延迟、准确性，将请求分配给最优AI模型。

最终，模型网关将不再是一个"网关"，而是企业智能化的"神经中枢"------它不直接思考，但确保思考过程高效、安全、经济地发生。

结语：

未来的技术方向已经清晰------大模型网关不是API网关的替代品，而是其演进形态。随着AI逐步嵌入各类应用，企业选择可扩展的大模型网关平台，将避免被孤立在特定AI生态中，获得技术架构的长期竞争优势。

往期回顾

1.从"人治"到"机治"：得物离线数仓发布流水线质量门禁实践

2.AI编程实践：从Claude Code实践到团队协作的优化思考｜得物技术

3.入选AAAI-PerFM｜得物社区推荐之基于大语言模型的新颖性推荐算法

4.Galaxy比数平台功能介绍及实现原理｜得物技术

5.得物App智能巡检技术的探索与实践

文 /禹极

关注得物技术，每周更新技术干货

要是觉得文章对你有帮助的话，欢迎评论转发点赞～

未经得物技术许可严禁转载，否则依法追究法律责任。