✍🏻测评报告 | 2023 中文大模型全景及国内外大模型测评

《中文大模型基准测评2023年度报告》，由 SuperCLUE 团队发布，报告提供了 2023 年中文大模型发展的全面回顾，包括关键进展、测评体系、综合测评结果以及优秀模型案例，为了解该领域的最新动态提供了宝贵的信息。

以下为主要内容：

1. 国内大模型关键进展

• 时间线：报告按照时间线划分了 AI 大模型发展的三个阶段：准备期、成长期和爆发期。

• 关键事件：从 ChatGPT 发布引发全球AI浪潮，到国内大模型的迅速发展和多样化，包括多个重要时间节点和相关模型的发布。

2. 大模型全景图

• 模型分类：介绍了通用大模型和行业大模型，包括闭源和开源模型。

• 代表性模型：列举了多个代表性的中文大模型，如字节跳动的 AndesGPT、百度的文心一言、阿里云的通义千问等。

3. 测评体系和方法

• SuperCLUE 介绍：详细说明了 SuperCLUE 测评基准的中立性和客观性，以及其多层次、多维度的综合性测评体系。

• 测评层级和体系：介绍了 SuperCLUE 的多个测评层级，包括专业与技能、语言与知识、安全性等。

• 测评方法：解释了如何通过自动化方式进行客观评估，包括多轮对话场景和主观题+客观题的结合。

4. 大模型综合测评结果

• 模型象限：使用 SuperCLUE 模型象限展示了不同模型在基础能力和应用能力上的定位。

• 国内外大模型表现：分析了国内外大模型的总体表现，特别是 GPT4-Turbo 的领先情况。

• 国内大模型竞争格局：讨论了国内大模型的竞争态势，包括创业公司与大厂的对比。

5. SuperCLUE 2.0 升级

• 行业及专项测评基准：介绍了 SuperCLUE 2.0 在行业和专项测评方面的升级，如汽车行业、金融行业、安全测评等。

6. 四大维度测评分析及示例介绍

• 语言与知识：分析了模型在生成与创作、语言理解、上下文对话等方面的表现。

• 专业与技能：讨论了模型在计算、逻辑推理、代码等方面的表现。

• 工具使用：评估了模型在检索API、调用API、规划API等方面的能力。

• 传统安全：考察了模型在财产隐私、违法犯罪、偏见歧视等方面的安全能力。

7. 优秀模型案例介绍

• 文心一言 4.0：百度推出的模型，表现均衡，尤其在计算、逻辑推理等方面。

• 通义千问 2.0：阿里云的模型，擅长代码、上下文对话等。

• AndesGPT：OPPO 的模型，具有对话增强、个性专属等特点。

• Baichuan2-13B-Chat：百川智能的开源模型，逻辑推理和生成与创作能力突出。

• 智谱清言：清华&智谱AI推出的模型，工具使用能力排名第一。

报告通过这些详细的分析和案例介绍，为读者提供了对 2023 年中文大模型发展的深入理解，同时也为未来的研究方向和应用场景提供了指导。

报告详情可至「开源中国 APP - 报告模块」下载查看。

APP 下载地址：

（目前仅提供 Android 版本）