ChatGLM2-12B 评测效果公布-低调大师

ChatGLM2-12B 评测效果公布

2023-07-28 876

距离 ChatGLM2 系列模型发布已有月余。日前，GLM 技术团队公布了 ChatGLM2-12B 在部分中英文典型数据集上的评测效果，数据集包括 MMLU(英文)、C-Eval(中文)、GSM8K(数学) 和 BBH(英文) 等。

“ChatGLM2-12B 模型在这些数据集上取得了不错的成绩。我们将继续不断改进和优化模型，以提供更优质的模型效果。”

MMLU

Chat 模型使用 zero-shot CoT (Chain-of-Thought) 的方法测试，Base 模型使用 few-shot answer-only 的方法测试。

C-Eval

Chat 模型使用 zero-shot CoT 的方法测试，Base 模型使用 few-shot answer only 的方法测试。

GSM8K

所有模型均使用 few-shot CoT 的方法测试，CoT prompt 来自 http://arxiv.org/abs/2201.11903

* 使用翻译 API 翻译了 GSM8K 中的 500 道题目和 CoT prompt 并进行了人工校对。

BBH

所有模型均使用 few-shot CoT 的方法测试，CoT prompt 来自此处。

微信关注我们

原文链接：https://www.oschina.net/news/251279

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Stack Overflow 推出 Overflow AI

Stack Overflow 官方在 Twitter 上宣布推出了新产品 Overflow AI。根据YouTube 视频介绍，这款 AI 工具可以在既有的 Stack Overflow 模式下，帮助开发者迅速找到高质量的回答。如果开发者认为推荐的答案无法解决问题，他们也可以让 Overflow AI 生成新的答案。此外，Overflow AI 还能根据已有的回答，结合 GitHub、Confluence 等平台的信息，总结并重新生成答案。 Overflow AI 可以嵌入到 IDE 中，就像 GitHub Copilot 一样，或者以聊天机器人的形式在 Slack 中使用。目前，Stack Overflow 已开放预约注册，用户可以加入等待名单：https://stackoverflow.co/

2023-07-28

791

过去几天，韩国研究人员在预印本平台 arXiv 发表了两篇论文，声称发现了第一种室温环境压力超导体。论文摘要（DeepL翻译）论文1 (https://arxiv.org/abs/2307.12008)：我们在世界上首次成功合成了在常压下工作的室温超导体（Tc 超过 400 K，127 oC），其结构为改性铅磷灰石（LK-99）。临界温度（Tc）、零电阻率、临界电流（Ic）、临界磁场（Hc）和迈斯纳效应证明了 LK-99 的超导性。LK-99 的超导性源于轻微的体积收缩（0.48%）造成的微小结构变形，而非温度和压力等外部因素。收缩是由 Pb(2)-phosphate 绝缘网络中的 Cu2+ 取代 Pb2+(2) 离子引起的，并产生应力。它同时转移到圆柱形柱的 Pb(1) 上，导致圆柱形柱界面变形，从而在界面上形成超导量子阱 (SQW)。热容量结果表明，新模型适用于解释 LK-99 的超导性。LK-99 的独特结构使得微小的扭曲结构在界面中得以保持，这是 LK-99 在室温和环境压力下保持和显示超导性的最重要因素。论文2 (https://arxiv.org/abs/2307....

2023-07-28

827

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。