RWKV-5-World 7B 模型开源——最环保、最节能的 AI 模型-低调大师

RWKV-5-World 7B 模型开源——最环保、最节能的 AI 模型

2024-01-30 507

2024年1月28日，RWKV开源基金会宣布开源RWKV-5-World 7B模型。

据介绍，“RWKV-5-World 7B”是 RWKV 第五代架构7B参数大模型，也是RWKV迄今为止多语言性能最强的开源大模型。根据性能评测数据显示，在100% attention-free和只训练1.1T tokens的前提下，RWKV-5 7B模型的多语言性能超过Mistral，英文性能看齐LlaMa2。

RWKV模型介绍

RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于Transformer的性能潜力。

RWKV-v5架构模型能力指标接近Llama2，但推理成本降低2~10倍，训练成本降低2~3倍。

如上图所示，对比RWKV-v4架构，在使用相同训练数据集的情况下，RWKV-v5的多语言能力大幅提升，整体提升约4%。而对比其他同为7B参数的模型，RWKV-5 7B的多语言表现亦处于领先地位。

官方介绍称，在相同参数大小（7B）的模型独立基准测试中，RWKV是世界上最环保、最节能的人工智能模型/架构（以每个token输出为基础）：

测试地址：https://ml.energy/leaderboard/

RWKV架构的能源效率源自线性Transformer架构的2~10倍计算效率与Transformer架构的二次缩放。随着模型规模的扩大，RWKV架构的节能特性会越发明显。

下载&试玩 RWKV-5-World 7B

RWKV-5-World 7B 模型在线Demo：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2

RWKV-5-World 7B 模型下载地址：

Hugging Face:https://huggingface.co/BlinkDL/rwkv-5-world/blob/main/RWKV-5-World-7B-v2-20240128-ctx4096.pth
wisemodel:https://wisemodel.cn/models/rwkv4fun/RWKV-5-World-7B-v2/file

微信关注我们

原文链接：https://www.oschina.net/news/276876/rwkv-5-world-7b-opensource

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

腾讯 APIJSON 插件 apijson-mongodb 开源，支持文档数据库 MongoDB

腾讯 APIJSON 是一种专为 API 而生的 JSON 网络传输协议以及基于这套协议实现的 ORM 库。为各种增删改查提供了完全自动化的万能 API，零代码实时满足千变万化的各种新增和变更需求。能大幅降低开发和沟通成本，简化开发流程，缩短开发周期。适合中小型前后端分离的项目。自 2016 年开源 7 年来发展迅速，目前 16K+ Star 位居 400W Java 开源项目前 100。国内腾讯、华为、阿里巴巴、字节跳动、美团、拼多多、百度、京东、网易、快手、圆通等和国外 Google, Apple, Microsoft, Amazon, Tesla, Meta(FB), Paypal 等数百个知名大厂员工 Star，也有腾讯、华为、字节跳动、Microsoft、Zoom、知乎等工程师/专家/架构师提了 PR/Issue，还被腾讯、华为、百度、SHEIN、快手、中兴、传音、圆通、美图等各大知名厂商用于各类项目。 apijson-mongodb 腾讯APIJSON的 MongoDB 数据库插件，可通过 Maven, Gradle 等远程依赖。添加依...

2024-01-30

284

Meta 今天发布了全新的代码生成大模型 Code Llama 70B。据称其 HumanEval 评分达到 67.8，达到 GPT-4 水准，是目前评分最高的开源大模型。 https://twitter.com/AIatMeta/status/1752013879532782075 Code Llama 70B 是此前 Code Llama 的升级版本，包括三个模型： CodeLlama-70B CodeLlama-70B-Python CodeLlama-70B-Instruct 开源地址：https://huggingface.co/codellama/CodeLlama-70b-hf Code Llama 以 Llama 2 为基础，可以帮助开发者根据提示创建代码，并调试人工编写的代码。 Meta 表示，Code Llama 70B 性能更高，可以处理更多的内容，更好地帮助开发者处理编程时遇到的问题。此外，Code Llama 70B 采用了与 Llama 2 和 Code Llama 相同的 License，可用于研究和商业用途。扎克伯格表示：“编写代码能力对于 AI 模型...

2024-01-30

374

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。