SuperCLUE 10 月榜单：vivo 自研大模型位列国内第一-低调大师

SuperCLUE 10 月榜单：vivo 自研大模型位列国内第一

2023-10-26 412

SuperCLUE 发布了中文大模型10月榜单。其中，vivo自研大模型以70.74的总分位列总排行榜第四，在国内大模型中排行第一；排在其后的分别是Moonshot、文心一言4.0和SenseChat 3.0。

SuperCLUE是中文通用大模型多层次的综合性测评基准，包括多轮开放问题测评SuperCLUE-OPEN和三大能力客观题测评SuperCLUE-OPT。主要考察模型在中文能力上的表现，包括专业知识技能、语言理解与生成、AI智能体和安全四大能力维度的上百个任务。

本次评测选取了目前国内外最具代表性的20个通用大语言模型。与9月相比，新增了月之暗面的Moonshot、百度的文心一言4.0、科大讯飞的星火V3.0、vivo的vivoLM和阿里云的Qwen-14B。

评测发现，国内第一梯队大模型格局已基本形成，在过去11个月的成绩令人振奋，头部几个中文大模型已经与GPT3.5极为接近。但与GPT4的距离依然遥远，尚未发现有对标和媲美GPT4的迹象。

10月评测数据集为全新的3754道测试题，其中包括606道多轮简答题和3148道客观选择题。

总排行榜

注：本次评测的GPT3.5版本为gpt-3.5-turbo-16k；文心一言4.0和SenseChat3.0由于分数非常接近（在0.05分以内）认定为并列。

多轮开放问题OPEN排行榜

三大能力客观题OPT排行榜

十大基础能力榜单

开源模型排行榜

SuperCLUE 观点

国内第一梯队大模型经过11个月的努力，已经与GPT3.5极为接近。但与GPT4的距离依然巨大，尚未发现有对标和媲美GPT4的迹象。
国内大模型多数擅长做选择题，在三大能力客观题OPT分数上有不少已经超过GPT3.5。SuperCLUE认为，客观题相对主观题更容易通过题库形式进行训练和提升；同时也由于客观题中包含中文特性问题，中文模型自然有一定的优势。
国内大模型厂商从算力、数据、人才层面上做了很多努力，SuperCLUE预计在接下来一个季度内将会出现全面超越GPT3.5的通用大模型。但如何赶超GPT4，又会成为摆在所有中文模型研发机构面前新的难题。
SuperCLUE国内大模型能力成熟度：在语言理解与生成能力、大模型安全性防护能力上，国内一线模型已经相对成熟、表现优异；在专业技能与知识上，已能满足一些应用需求；在Agent智能体能力上，还相对落后、成熟度低。

榜单地址：https://www.superclueai.com/

微信关注我们

原文链接：https://www.oschina.net/news/263504

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微软 CEO 纳德拉：放弃 Windows Phone 和移动业务是错误决策

微软 CEO 纳德拉 (Satya Nadella) 近日在接受媒体访问时表示，微软放弃 Windows Phone 和移动业务是错误决策。纳德拉在 2014 年接替鲍尔默 (Steve Ballmer) 担任 CEO，仅仅一年之后就宣布裁撤了鲍尔默任内斥资 76 亿美元收购的诺基亚手机业务。此后 Windows Phone 事实上就退出了移动市场。在接受 Business Insider 采访时，纳德拉坦言微软在“退出”手机业务上处理得不够恰当。在被问及他可能后悔的战略错误或错误决定时，纳德拉回答道： “这项决定（退出手机业务）时常被人拿出来讨论，也是我出任首席执行官之后做出的最困难决定——退出“当时定义下的手机”。现在回想起来，我认为我们可以通过重新发明个人电脑、平板电脑和手机之间的计算类别，来重振手机业务。” 在诺基亚手机业务被放弃多年后，微软才最终确认 Windows Phone 已经消亡。此后，微软推出了基于 Android 的 Surface Duo 和 Surface Duo 2 手机，但由于没有后续产品，也缺乏软件更新，因此 Surface Duo 手机品牌的未来...

2023-10-26

317

现状在dhorse 1.4.0版本之前，一直使用k8s官方提供的sdk与k8s集群交互，官方sdk的Maven坐标如下： <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <version>18.0.0</version> </dependency> 但是自从1.4.0版本以后，dhorse开始支持fabric8的sdk，fabric8的sdk的Maven坐标如下： <dependency> <groupId>io.fabric8</groupId> <artifactId>kubernetes-client</artifactId> <version>6.9.0</version> </dependency> 那么，为什么要替换为fabric8的sdk...

2023-10-26

335

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。