BFE Server v1.8.0 发布,新增 AI 网关能力
BFE 开源项目的数据面转发引擎 BFE Server 发布了新版本 v1.8.0,具体更新内容包括:
功能新增
- 支持AI网关的部分基础功能
- 支持调用第三方WAF服务
- 支持通过HTTPS向后端RS转发请求
对AI网关的功能支持
AI网关是模型与业务间的流量中枢,可统一接入多种大模型,实现鉴权、流控、缓存、内容检测等多种功能。
BFE本次新增AI网关的部分基础能力支持,包括:
- 在条件表达式中,增加req_body_json_in()原语,用于对请求body中的JSON数据做条件匹配
- 新增mod_ai_token_auth模块,用于支持大模型 API-key(token) 的鉴权和配额控制
- 新增mod_body_process模块,用于提供 body 的流式处理框架
调用第三方WAF服务
WAF即Web应用防火墙,通过过滤、监控和拦截恶意流量与攻击,保护网站免受SQL注入、XSS等威胁,保障业务安全。
BFE本次新增mod_unified_waf模块,用于支持将待检测内容发送给第三方WAF服务,并获取检测结果。
为了便于第三方WAF服务和BFE对接,项目团队定义了BWI(BFE WAF Interface)。对于第三方的WAF,只需要按照BWI的规范要求提供可被BFE调用的客户端SDK,就可以实现和BFE的对接。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
deepin 截图录屏智能存储上线,AI 大招在路上
deepin 截图录屏作为大家日常使用频率 Top 级应用,之前收到了很多用户的真诚反馈和宝贵建议,感谢大家的积极参与和建言献策。 目前,随着 deepin 25.0.7 版本的更新,deepin 截图录屏新功能也上线啦!本文将为大家详细介绍本次更新的具体内容,并透露一下 deepin 截图录屏在后续的产品功能规划,一起来看看吧。 新增功能:智能区分存储方式 在之前的反馈中,很多用户提出了对截图存储方式进行优化的需求,希望能够将“保存至本地”和“保存至剪贴板”功能区分开来。本次版本便实现了此功能,如下所示: 点击“√”(或双击截图区域、按回车等),截图自动复制到剪贴板,方便直接粘贴使用; 点击“保存”,则将图片存储至本地,方便后续查找与管理。 但如果你不想每次存图都选路径,别担心——旧版本中“固定文件夹存储”的便捷方式我们也做了保留! 更贴心的是,此次版本在“设置”中新增了“保存方式”选项: 勾选“每次询问”:每次保存时均可自主选择文件夹; 勾选“指定位置”并选择具体位置:截图将自动存入预设文件夹,不再询问,省心省力。 注意:设置内的“保存方式”仅对“保存到本地”场...
-
下一篇
PaddlePaddle 3.2.0 发布
飞桨框架3.2版本在大模型训练推理性能、硬件适配、主流大模型及高性能加速库的支持上进一步提升。 大模型训练方面,飞桨框架在计算、并行策略、容错能力三方面进行了升级: 从基础计算性能层面,提出了存算重叠的稀疏掩码注意力计算FlashMask V3,极致优化Attention的计算效率,同时还实现了高效的FP8混合精度效果无损训练技术。 在分布式并行策略层面,提出了动态自适应的显存卸载策略,实现存算最优均衡,再结合创新设计的显存友好的流水线并行调度,进一步降低显存开销。 增强了框架原生的容错能力,实现了大规模集群训练容错系统,可在不影响训练效率的前提下在线监测静默数据损坏等难以察觉的故障,并实现了高可用的检查点容灾方法,降低中断恢复损失。 在硬件适配方面,面向类CUDA芯片,全面升级插件式适配方案。 在设备资源的管理调度和高性能集合通讯库方面,针对类CUDA芯片做了管理接口升级和通信能力的增强,特别增强了分布式通信能力,使XCCL对齐NCCL的各结构体和功能。 新增了类CUDA算子注册机制。以沐曦适配为例,在复用GPU算子内核的基础上,仅需一行代码即可完成算子内核注册。经过统计计算,算子内...
相关文章
文章评论
共有0条评论来说两句吧...