✍🏻测评报告 | 2023 中文大模型全景及国内外大模型测评-低调大师

✍🏻测评报告 | 2023 中文大模型全景及国内外大模型测评

2024-03-20 294

《中文大模型基准测评2023年度报告》，由 SuperCLUE 团队发布，报告提供了 2023 年中文大模型发展的全面回顾，包括关键进展、测评体系、综合测评结果以及优秀模型案例，为了解该领域的最新动态提供了宝贵的信息。

以下为主要内容：

1. 国内大模型关键进展

时间线：报告按照时间线划分了 AI 大模型发展的三个阶段：准备期、成长期和爆发期。
关键事件：从 ChatGPT 发布引发全球AI浪潮，到国内大模型的迅速发展和多样化，包括多个重要时间节点和相关模型的发布。

2. 大模型全景图

模型分类：介绍了通用大模型和行业大模型，包括闭源和开源模型。
代表性模型：列举了多个代表性的中文大模型，如字节跳动的 AndesGPT、百度的文心一言、阿里云的通义千问等。

3. 测评体系和方法

SuperCLUE 介绍：详细说明了 SuperCLUE 测评基准的中立性和客观性，以及其多层次、多维度的综合性测评体系。
测评层级和体系：介绍了 SuperCLUE 的多个测评层级，包括专业与技能、语言与知识、安全性等。
测评方法：解释了如何通过自动化方式进行客观评估，包括多轮对话场景和主观题+客观题的结合。

4. 大模型综合测评结果

模型象限：使用 SuperCLUE 模型象限展示了不同模型在基础能力和应用能力上的定位。
国内外大模型表现：分析了国内外大模型的总体表现，特别是 GPT4-Turbo 的领先情况。
国内大模型竞争格局：讨论了国内大模型的竞争态势，包括创业公司与大厂的对比。

5. SuperCLUE 2.0 升级

行业及专项测评基准：介绍了 SuperCLUE 2.0 在行业和专项测评方面的升级，如汽车行业、金融行业、安全测评等。

6. 四大维度测评分析及示例介绍

语言与知识：分析了模型在生成与创作、语言理解、上下文对话等方面的表现。
专业与技能：讨论了模型在计算、逻辑推理、代码等方面的表现。
工具使用：评估了模型在检索API、调用API、规划API等方面的能力。
传统安全：考察了模型在财产隐私、违法犯罪、偏见歧视等方面的安全能力。

7. 优秀模型案例介绍

文心一言 4.0：百度推出的模型，表现均衡，尤其在计算、逻辑推理等方面。
通义千问 2.0：阿里云的模型，擅长代码、上下文对话等。
AndesGPT：OPPO 的模型，具有对话增强、个性专属等特点。
Baichuan2-13B-Chat：百川智能的开源模型，逻辑推理和生成与创作能力突出。
智谱清言：清华&智谱AI推出的模型，工具使用能力排名第一。

报告通过这些详细的分析和案例介绍，为读者提供了对 2023 年中文大模型发展的深入理解，同时也为未来的研究方向和应用场景提供了指导。

报告详情可至「开源中国 APP - 报告模块」下载查看。

APP 下载地址：

（目前仅提供 Android 版本）

微信关注我们

原文链接：https://www.oschina.net/news/283942

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开放签开源电子签章产品白皮书（简版）

开放签开源电子签章产品白皮书（简版）一、摘要：开放签电子签章团队源自于电子合同SaaS公司，立志于通过开源、开放的模式，结合团队十多年的行业经验，将电子签章产品更简单、更低门槛的推广到各行各业中。让电子签章应用更简单，让电子签章应用更普及。我们相信秉承开源、开放的价值观，能够为产品和用户之间带来更多的信任，让用户使用起来更放心。本白皮书概述了开放签电子签章的设计理念、关键技术、功能特点、应用场景以及参与贡献的方法。二、背景与价值主张随着全球信息化的快速发展，企业组织和个人越来越依赖于线上操作和远程协作。数字化办公、电子商务和移动互联技术的普及使得传统纸质文件签署方式在效率、成本以及环保等方面日益显得滞后。在此背景下，电子签章作为一种替代传统物理印章的有效手段，其需求呈现出以下特点：提升业务效率【电子签章能够实现文档的在线实时签署，不受地域限制】；【合规要求】各地政府纷纷出台相应的法律法规，确保电子签章具有与传统签名相同的法律效力；【降低运营成本】减少纸张消耗、快递费用、人工处理成本；业务场景融合【电子签章可无缝嵌入各类业务流程，如ERP、CRM、OA系统中】；价值主张：我们...

2024-03-20

290

前言 .NET9 PreView2发布了，它的CLR方面主要有两个重磅功能 RyuJIT 增强功能 Arm64 矢量化原文： .NET9 PreView2的重磅功能 .NET9 AOT ILC的重大变化欢迎加入.NET9技术交流群下面分别看下 RyuJIT增强功能 1.环路优化(循环优化) 这种优化实际上是一种for循环叠加态的优化，for循环叠加计算的过程中，会对其中部分变量进行感应。比如循环中放置0扩展(第一个索引为0)，这种优化灵感来源于LLVM标量演化。下面看例子，说明下这个优化： [MethodImpl(MethodImplOptions.NoInlining)] static int Foo(int[] arr) { int sum = 0; for (int i = 0; i < arr.Length; i++) { sum += arr[i]; } return sum; } 未优化前: G_M8112_IG01: sub rsp, 40 ;; size=4 bbWeight=1 PerfScore 0.25 G_M8112_IG...

2024-03-20

271

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。