OpenBuddy 发布基于 Llama 2 的新一代跨语言对话模型,开源可商用

OpenBuddy-LLaMA2-13B 是一个基于 Llama 2 的全新跨语言对话模型。

Llama 2 是 Meta 最新发布的模型基座,它的数据比前一代模型更为充分,且对月活7亿以下的商用予以支持。这意味着,更多的公司和团队可以使用这个模型进行商业开发,推动各类应用的普及和创新。

然而,和之前的版本相同,Llama 2 仍具备一定的局限性:LLaMA模型基座以英语训练数据为主,未考虑跨语言场景应用。模型本身在英语上表现较好,但在中文等非英语语系的语言上,模型的输出难以令人满意。

此外,LLaMA2-Chat模型本身的泛化能力、多轮对话能力也存在局限性。

针对LLaMA2的局限性,OpenBuddy团队凭借在微调模型方面的经验,设计并实验了多种微调方案。最终选取了13B作为第一个版本的模型基座,因为它是个人用户可部署且具备涌现潜力的最佳模型大小。

在经过多轮微调和反复试验后,OpenBuddy团队成功完成了OpenBuddy-LLaMA2-13B的首个版本的训练工作。

OpenBuddy-LLaMA2-13B

在测试OpenBuddy-LLaMA2-13B的过程中,团队发现模型涌现出了强大的泛化能力和思辨能力,这是目前他们的研发历程中,最令人满意的13B模型。

模型具备一定的批判性思考能力,不会盲目信任用户给出的信息,且能够指出用户的错误或信息不足之处:

模型还具备一定程度的分析、归纳能力,在部分场景下,能够发现输入信息中的潜在规律,并给出分析结果:

此外,模型的内容创作能力、指令遵循能力也有进一步的提升,能够产生符合用户需求的内容:

据介绍,OpenBuddy-LLaMA2-13B模型还参与了HuggingFace的Open LLM Leaderboard测试榜单,并取得了非常靠前的成绩。模型在英文综合能力评分上超过了Vicuna、WizardLM 1.0、Meta官方的Llama2-chat等多种13B模型,甚至能够接近MPT-30B等数倍规模的大模型。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/250986

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。