深言科技联合清华大学 NLP 实验室开源 LingoWhale-8B 模型-低调大师

深言科技联合清华大学 NLP 实验室开源 LingoWhale-8B 模型

2023-11-03 512

深言科技与清华大学 NLP 实验室共同研发的语鲸LingoWhale-8B模型已面向社会开源。

深言科技（DeepLang AI）由清华大学计算机系自然语言处理实验室（THUNLP）与北京智源人工智能研究院（BAAI）共同孵化，是国内最早开展大模型研发与探索大模型落地的创业公司之一。公司创始团队曾深度参与智源·悟道大模型的研发，目前已发布产品包括世界首个中文及跨语言反向词典WantWords、名句语义检索系统WantQuotes、智能写作工具深言达意等。

根据介绍，LingoWhale-8B模型是拥有约80亿参数的中英双语大语言模型，在C-Eval、MMLU、CMMLU等多个权威的公开评测基准上，在10B以下开源模型中达到领先效果。

LingoWhale-8B是深言科技与清华大学NLP实验室共同推出的语鲸系列大模型中首个开源的中英双语大语言模型。

LingoWhale-8B模型在数万亿token的高质量中英数据上进行预训练，具有强大的基础能力，在多个公开评测基准上均达到领先效果。在预训练阶段，模型使用8K的上下文长度进行训练，能够完成更长上下文的理解和生成任务。LingoWhale-8B模型对学术研究完全开放，开发者通过邮件申请并获得官方商用许可后，即可免费商用。

在开源模型权重的同时，项目团队也提供了符合用户习惯的Huggingface推理接口以及LoRA等参数高效微调示例，便于开发者快速使用LingoWhale-8B模型。

受模型参数量影响，大模型固有的幻觉问题、数学计算能力相对较弱、生成内容有无法预见性等问题在LingoWhale-8B模型中仍然存在。因此建议在使用前了解这些问题，评估可能存在的风险。后续版本的语鲸大模型将会针对此类问题进行持续优化。

测评分析

截至10月24日，在中文领域权威评测C-Eval中，LingoWhale-8B模型的性能仅次于GPT-4。在C-Eval、CMMLU、GAOKAO测评中，性能超过GPT-3.5Turbo，在10B以下尺寸模型中性能处于领先位置。

一些示例：

微信关注我们

原文链接：https://www.oschina.net/news/264763

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国外 HR：如果看到简历有参与开源贡献的内容，直接扔掉

自称曾负责 FAANG（美国科技巨头）招聘工作的“猎头”在推特发表了如内容：他表示自己在招人的时候，如果看到开发者的简历出现参与开源贡献的内容，会直接把简历扔掉。他认为，开发者有这么多的空闲时间来不求回报地写代码，对工作的投入程度能有多高？他继续补充道：“对于初级开发者来说，他们参与开源可以理解。但对于高级开发者来说，这表明他们缺乏成熟度。” 最后他附上了自己拒绝别人求内推的截图：

2023-11-03

300

复用性（Reusability）是软件工程中一个被频频使用的术语，它一般作为产品的卖点被宣传，或者出现在技术设计文档之中。大部分看到这个概念的的受众只是将其作为一个积极的软件非功能属性去理解，但却忽略了其背后隐藏的风险。本文从另一个角度出发，去分析「复用性」这一概念背后的风险及成因，借助笔者在业务安全和基础安全的一点经验，提出了一个在软件研发流程中，管理「复用性成本风险」的风险管理模型。从模型出发，我们可以认识到实现复用时面临的各项挑战、开发认知谬误、复用成本的形式化定义方法等，希望这些输入能为读者在后续的技术决策和软件研发流程提供些许帮助。本文主要分为三个部分：第一部分介绍复用性的定义以及不合理复用引入的主要技术债，第二部分分析复用性失效的原因；第三部分为复用性软件资产的构建方和使用方提供一个形式化的度量工具，该工具将奠定后续风险管理模型评估阶段定量分析的基础；第四部分提出一个用于管理「复用性风险」的模型，覆盖软件研发生命周期的全流程，通过事前评估、事中缓释和事后迭代三个环节最大程度地降低由于软件复用带来的软件开发和维护成本。一、复用性的理想与现实 1.1 复用定义：从代码到系统...

2023-11-02

336

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。