ChatGLM2-6B 发布：8-32k 上下文，推理提速 42%-低调大师

ChatGLM2-6B 发布：8-32k 上下文，推理提速 42%

2023-06-26 890

GLM 技术团队宣布再次升级 ChatGLM-6B，发布 ChatGLM2-6B。ChatGLM-6B 于 3 月 14 日发布，截至 6 月 24 日在 Huggingface 上的下载量已经超过 300w。

截至 6 月 25 日，ChatGLM2 模型在主要评估 LLM 模型中文能力的 C-Eval 榜单中以 71.1 的分数位居 Rank 0；ChatGLM2-6B 模型则以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
更长的上下文：基于 FlashAttention 技术，项目团队将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。
更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。

评测结果

以下为 ChatGLM2-6B 模型在 MMLU (英文)、C-Eval（中文）、GSM8K（数学）、BBH（英文）上的测评结果。

推理性能

ChatGLM2-6B 使用了 Multi-Query Attention，提高了生成速度。生成 2000 个字符的平均速度对比如下

Multi-Query Attention 同时也降低了生成过程中 KV Cache 的显存占用，此外，ChatGLM2-6B 采用 Causal Mask 进行对话训练，连续对话时可复用前面轮次的 KV Cache，进一步优化了显存占用。因此，使用 6GB 显存的显卡进行 INT4 量化的推理时，初代的 ChatGLM-6B 模型最多能够生成 1119 个字符就会提示显存耗尽，而 ChatGLM2-6B 能够生成至少 8192 个字符。

项目团队也测试了量化对模型性能的影响。结果表明，量化对模型性能的影响在可接受范围内。

示例对比

相比于初代模型，ChatGLM2-6B 多个维度的能力都取得了提升，以下是一些对比示例。

数理逻辑

知识推理

长文档理解

微信关注我们

原文链接：https://www.oschina.net/news/246846/chatglm2-6b

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1-5 月我国软件业务收入 43238 亿元，同比增长 13.3%

工信部今天发布了 2023 年1-5 月份软件业经济运行情况指出，我国软件和信息技术服务业（以下简称软件业）运行态势平稳向好，软件业务收入加快增长，利润总额保持两位数增长，软件业务出口增速小幅回落。一、总体运行情况软件业务收入加快增长。1－5月份，我国软件业务收入43238亿元，同比增长13.3%。利润保持两位数增长。1－5月份，软件业利润总额4922亿元，同比增长12.2%。软件业务出口增速小幅回落。1－5月份，软件业务出口189亿美元，同比下降3.7%，其中，软件外包服务出口同比增长5%。二、分领域运行情况软件产品收入小幅提升。1－5月份，软件产品收入10410亿元，同比增长11.4%，占全行业收入的比重为24.1%。其中，工业软件产品收入1012亿元，同比增长13.1%。信息技术服务收入保持较快增长。1－5月份，信息技术服务收入28456亿元，同比增长14.2%，在全行业收入中占比为65.8%。其中，云计算、大数据服务共实现收入4366亿元，同比增长16.9%，占信息技术服务收入的比重为15.3%；集成电路设计收入1052亿元，同比增长5.2%；电子商务平台技术服务...

2023-06-26

762

摘要：DSSM 用字向量作为输入既可以减少切词的依赖，又可以提高模型的泛化能力，因为每个汉字所能表达的语义是可以复用的。本文分享自华为云社区《深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比》，作者：汀丶。 1.DeepFM模型 1.1模型简介 CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率。DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order（低阶）特征，DNN可以抽取high-order（高阶）特征。低阶特征可以理解为线性的特征组合，高阶特征，可以理解为经过多次线性-非线性组合操作之后形成的特征，为高度抽象特征。无需Wide&Deep模型人工特征工程。由于输入仅为原始特征，而且FM和DNN共享输入向量特征，DeepFM模型训练速度很快。注解：Wide&Deep是一种融合浅层（wide）模型和深层（deep）模型进行联合训练的框架，综合利用浅层模型的记忆能力和深层模型的泛化能力，实现单模型对推荐系统准确性和扩展性的兼顾。该模型的Paddle实现请参考链接：Pad...

2023-06-21

931

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。