中兴通讯“星云研发大模型”：AI 编程助手、1000 亿 token-低调大师

中兴通讯“星云研发大模型”：AI 编程助手、1000 亿 token

2023-10-12 398

2023 年 10 月 11 日-13 日，在中国移动全球合作伙伴大会举办期间，中兴通讯“星云研发大模型”亮相，旨在辅助开发人员进行需求分析、产品设计、编程、测试、版本部署等。

据介绍，“星云研发大模型”支持白名单机制有效控制使用范围，以及代码特征值识别有效识别敏感代码片段、敏感词识别机制可实时监测并拦截敏感内容，还有后台审计机制可完整回溯安全事件等。

中兴通讯表示，2023 年 4 月，“星云研发大模型”使用启动，截至目前，日活人数达 1.2 万人，代码采纳率达 40%~45%，编码提效 30%，整体研发提效 10%。

中兴通讯将领域数据、Know-How 知识积累、数十万篇通信领域技术文档和1000 亿 token的无线 / 核心网 / 云代码语料等注入大模型，进行增量预训练，使用并行训练框架。

中兴通讯称：“自研部署方案使用动态 batch 策略、PagedAttention 技术，结合无损模型量化，吞吐量大幅提升，单 GPU（A800）达到 1500tokens / s，仅使用 4 张 GPU 卡（A800）可满足超千人使用需求。对比业界常规的部署方案，单 GPU 吞吐量分别提升 10 + 倍和 20 + 倍；结合 int4 量化技术，在模型精度不下降情况下，模型大小和显存使用量均下降一半。”

微信关注我们

原文链接：https://www.oschina.net/news/261477

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源中国发布大模型技术图谱（LLM Tech Map）

LLM 技术图谱 (LLM Tech Map) 是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。 LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。基础设施 LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。大模型框架、微调 (Fine Tuning)：针对大模型的开发。大模型训练平台与工具大模型 LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：备案...

2023-10-12

342

杭州亚运会实现核心系统100%上云。 10月8日晚，杭州亚运会圆满闭幕。作为史上首届“云上亚运”，杭州亚运会创造了历史。杭州亚运会实现了核心系统100%上云，并借助后台云算力、云存储等云技术保障，建设一系列各层级、各场馆数字指挥平台，实现全面感知、高效指挥。同时，首次实现云上转播，据统计，杭州亚运会在云上传输了60路高清和超高清信号，总计超过7200小时时长。核心系统100%上云，赛事成绩5秒发布杭州亚运会是史上首届云上亚运，实现核心系统100%上云，并借助后台云算力、云存储等云技术保障，建设一系列各层级、各场馆数字指挥平台，实现全面感知、高效指挥。基于云底座，杭州亚运会全面采用云原生技术，赛事核心系统群实现了系统通和数据通。这一创新的云技术方案避免了传统模式下各自“建烟囱”、数据难以互通的“老大难”问题，可以更好地支撑丰富的智能应用。三大核心系统群将注册管理、竞赛报名、赛事成绩等赛事信息安全地汇聚在云计算底座上，并通过应用程序编程接口、文件传输等接口统一输出，实现各类数据准确、即时地一键输出。在裁判员确认成绩之后，5秒钟就可实现赛事信息发布，这是全球综合性运动会上成绩发布...

2023-10-12

349

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。