大模型对战平台「SuperCLUE琅琊榜」排名首发，国内大模型首超 GPT 3.5-低调大师

大模型对战平台「SuperCLUE琅琊榜」排名首发，国内大模型首超 GPT 3.5

2023-06-01 877

最近，来自中文语言理解测评基准开源社区 CLUE 的成员发起了中文大模型匿名对战平台 SuperCLUE-琅琊榜，目前已经获得有效投票 5.8K。

以下是截至2023年5月29日18点22分的 SuperCLUE 琅琊榜初始排名。

SuperCLUE-琅琊榜官方唯一地址：www.SuperCLUEAI.com

SuperCLUE 是中文通用大模型综合性测评基准。

它主要回答的问题是：在当前通用大模型大力发展的情况下，中文大模型的效果情况。包括但不限于：

这些模型不同任务的效果情况

相较于国际上的代表性模型做到了什么程度

这些模型与人类的效果对比如何？

它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。SuperCLUE 是中文语言理解测评基准 (CLUE) 在通用人工智能时代的进一步发展。

在初始排名中，由 Anthropic 公司开发的 Claude 模型以 1215 分暂居第一。在国内模型中，MiniMax 模型以 1188 的高分力压众多国产大模型登顶 SuperCLUE 琅琊榜，暂居国服第一，也是国内大模型首次在公开测评中超过 GPT3.5。

其中，GPT 3.5 以 1171 分排名第三。由清华大学和智谱AI开发的 ChatGLM-130B 则以 8 分微弱差距排名第四，ChatGLM-6B以仅 60 亿参数量的模型跻身前五，表现不俗。香港中文大学和复旦大学同样表现优异，分列 6、7 名，IDEA研究院的姜子牙大模型同样也超过了 1000 分，排名第 9。

相比之下在英文上表现强劲的 vicuna-13b 模型，仅仅排名第 10，在中文能力上明显弱于国内中文大模型。

值得提及的是，在英文对战排名中表现优异的 RWKV，在中文对战表现上稍显不足。RWKV 团队表示正在训练中文基底模型，后续会以中文身份加入对战。

CLUE 团队表示，之后会定期更新 SuperCLUE 琅琊榜排名，同时加入更多具有代表性的大模型。

微信关注我们

原文链接：https://www.oschina.net/news/243313

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

图数据库 NebulaGraph v3.5.0 发布，支持免索引查询、UDF...

本次 v3.5.0 版本主要是优化了 FIND ALL PATH 性能，支持免索引的全表扫描等功能。具体性能提升幅度，记得阅读下周的 NebulaGraph v3.5.0 性能报告。特性支持免索引的全表扫描，参见 pr：#5416 支持 UDF，参见 pr：#4804#5391 支持在返回语句中使用像v.tag这样的表达式，参见 pr：#5440 支持UPDATE语句中的 json_extract 函数，参见 pr：#5457 支持在EXPLAIN输出中使用 TCK 格式，参见 pr：#5414 DML 支持参数，参见 pr：#5328 优化支持以毫秒为单位的 TTL，参见 pr：#5430 增强了聚合函数中的属性裁剪功能，参见 pr：#5301 提高了遍历执行器的性能，参见 pr：#5308 优化了FIND ALL PATH性能，参见 pr：#5409 为了提高性能，移除了一些 raft锁，参见 pr：#54513 优化了谓词函数过滤变长边，参见 pr：#5464#5470#5481#5503 并行遍历执行器，参见 pr：#53141 MATCH支持ID 集合，参见 pr：#5...

2023-06-01

440

Noodl 是一个低代码开发平台，让设计师、开发者能够用低代码的可视化编程方法构建强大的 Web 应用。目前 Noodl 已被亚马逊、三星、沃尔玛等财富 500 强企业应用于原型设计到生产环境中。日前，Noodl 官方发出公告表示，将从现有的付费订阅模式向开源模式过渡。 Noodl 目前的价格为 299美元/月，开源后用户构建、部署、维护和托管应用程序所需的一切都将是完全开源和免费的。Noodl 还会保留一个具有额外功能的商业版本，该版本将包括协作工具、版本控制和对应用程序扩展的优化。这种方法即确保了平台对每个人都是开放的，同时为希望利用高级功能的用户和企业提供附加价值。根据官方提供的开源路线图，Noodl 将在未来的 6-12 个月时间里，在开源许可下分阶段、逐步开源构建、部署和托管 Noodl 应用程序所需的一切。 Noodl 把代码库划分为两个主要部分，第一个部分将涵盖构建和运行 Noodl 编辑器所需的一切，而第二个部分将解决部署和托管 Noodl 应用程序所需的所有方面。为了平衡社区和商业用户的需求，Noodl 选择为这些组件使用两种不同的许可证。第一个组件，与构建和运...

2023-06-01

873

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。