首页 文章 精选 留言 我的

精选列表

搜索[Harness工程],共10000篇文章
优秀的个人博客,低调大师

AI 生产化的三个工程边界:可用、可控、可审计

## 1. 可用:把模型差异收敛到接入层 应用不应在业务代码中硬编码多个供应商的鉴权、协议和错误处理。统一接入层可以提供逻辑模型名、协议适配、路由和故障切换。上游变化时,应用只需保持稳定的调用接口。 接入层需要明确超时、重试和降级边界。对于查询类请求,可以在幂等条件下进行有限重试;对于会触发写入或外部动作的 Agent 请求,则应记录执行状态,避免客户端超时后重复执行。路由切换也要留下原因和目标线路,便于排查延迟和失败率变化。 ## 2. 可控:把额度和模型选择放到执行路径 按任务难度选择模型,比所有请求都使用同一模型更适合生产。日常问答、复杂技术任务和多模态任务可以采用不同档位。模型选择策略应当可配置、可版本化,并能在异常时回退到上一版策略。 同时按部门、项目或应用分配 Key 和额度,实时关联调用量和费用,避免月底才发现预算超支。额度不仅可以限制金额,也可以限制 Token、请求频率、模型范围和运行环境。对于高成本模型,建议设置单独的白名单和告警阈值。 成本治理还需要结合质量指标。成功率、响应时间、重试次数和人工返工率,能够帮助团队判断某个模型是否真的带来更高的业务效率。 ## 3. 可审计:为每次请求保留关联关系 审计重点不是保存越多日志越好,而是能否还原调用关系。身份、凭证、逻辑模型、实际模型、时间、状态和安全处置动作,应当能够关联查询。发生异常时,运维人员需要从一次请求追溯到责任主体、路由决策和最终结果。 敏感数据可以在出网前识别并脱敏,减少不必要的数据暴露。日志系统应区分原文、摘要和元数据的保留策略,并限制不同角色的查看范围。审计记录还应具备不可随意修改的保护措施,否则很难作为事后证据使用。 ## 4. 一套可执行的上线检查方法 可以为每类业务准备一组固定测试:正常调用、额度达到阈值、凭证撤销、上游超时、模型切换、敏感字段输入和审计检索。每次测试都记录预期结果、实际结果和恢复步骤。 这套方法也适用于自建网关:先定义稳定的逻辑接口,再把路由、预算和审计作为执行链路的一部分,而不是上线后的补丁。模型、价格、协议和平台功能会动态变化,发布前应以实际控制台配置和运行结果为准。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册