RWKV-6-World 7B 模型于 5 月 7 日正式开源发布
2024 年 5 月 7 日,RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 7B 模型。 相比 1月 18日开源的RWKV-5-World 7B 模型,最新发布的 RWKV-6-World 7B 模型不仅升级了模型架构,还在训练过程中额外增加了 1.4T tokens 语料。 基准测试和实际任务的结果显示:RWKV-6-World 7B 模型在多语言、指令遵循和材料总结等复杂任务上的表现更出色。 注意:目前开源发布的 RWKV 模型均为基底模型。基底模型具备一定的指令和对话能力,但未针对任何任务作优化。因此,基底模型在特定任务上的表现并不代表 RWKV 模型最优水准。 如果希望 RWKV 模型在某种类型的任务上表现良好且稳定,建议使用此类任务的数据集对 RWKV 模型进行微调训练。 目前我们已发布一些基于 RWKV 基底模型对特定任务进行微调训练的教程,可以点击下方链接浏览微调文档: RWKV 模型保姆级微调教程 彭博:State-tuning:RWKV的独特alignment方法 推荐使用 state tuning 方法进行 RWKV 微调训练。 评测数据 本次模...
