中兴通讯“星云研发大模型”：AI 编程助手、1000 亿 token

2023 年 10 月 11 日-13 日，在中国移动全球合作伙伴大会举办期间，中兴通讯“星云研发大模型”亮相，旨在辅助开发人员进行需求分析、产品设计、编程、测试、版本部署等。

据介绍，“星云研发大模型”支持白名单机制有效控制使用范围，以及代码特征值识别有效识别敏感代码片段、敏感词识别机制可实时监测并拦截敏感内容，还有后台审计机制可完整回溯安全事件等。

中兴通讯表示，2023 年 4 月，“星云研发大模型”使用启动，截至目前，日活人数达 1.2 万人， 代码采纳率达 40%~45%，编码提效 30%，整体研发提效 10%。

中兴通讯将领域数据、Know-How 知识积累、数十万篇通信领域技术文档和1000 亿 token的无线 / 核心网 / 云代码语料等注入大模型，进行增量预训练，使用并行训练框架。

中兴通讯称：“自研部署方案使用动态 batch 策略、PagedAttention 技术，结合无损模型量化，吞吐量大幅提升，单 GPU（A800）达到 1500tokens / s，仅使用 4 张 GPU 卡（A800）可满足超千人使用需求。对比业界常规的部署方案，单 GPU 吞吐量分别提升 10 + 倍和 20 + 倍；结合 int4 量化技术，在模型精度不下降情况下，模型大小和显存使用量均下降一半。”