RWKV-5-World 7B 模型开源——最环保、最节能的 AI 模型

2024年1月28日，RWKV开源基金会宣布开源RWKV-5-World 7B模型。

据介绍，“RWKV-5-World 7B”是 RWKV 第五代架构7B参数大模型，也是RWKV迄今为止多语言性能最强的开源大模型。根据性能评测数据显示，在100% attention-free和只训练1.1T tokens的前提下，RWKV-5 7B模型的多语言性能超过Mistral，英文性能看齐LlaMa2。

RWKV模型介绍

RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于Transformer的性能潜力。

RWKV-v5架构模型能力指标接近Llama2，但推理成本降低2~10倍，训练成本降低2~3倍。

如上图所示，对比RWKV-v4架构，在使用相同训练数据集的情况下，RWKV-v5的多语言能力大幅提升，整体提升约4%。而对比其他同为7B参数的模型，RWKV-5 7B的多语言表现亦处于领先地位。

官方介绍称，在相同参数大小（7B）的模型独立基准测试中，RWKV是世界上最环保、最节能的人工智能模型/架构（以每个token输出为基础）：

测试地址：https://ml.energy/leaderboard/

RWKV架构的能源效率源自线性Transformer架构的2~10倍计算效率与Transformer架构的二次缩放。随着模型规模的扩大，RWKV架构的节能特性会越发明显。

下载&试玩 RWKV-5-World 7B

RWKV-5-World 7B 模型在线Demo：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2

RWKV-5-World 7B 模型下载地址：

• Hugging Face:https://huggingface.co/BlinkDL/rwkv-5-world/blob/main/RWKV-5-World-7B-v2-20240128-ctx4096.pth

• wisemodel:https://wisemodel.cn/models/rwkv4fun/RWKV-5-World-7B-v2/file