RWKV-6 1.6B(2.5T Tokens)模型于 3 月 29 日开源
2024 年 3 月 29 日,RWKV 开源基金会宣布正式向全球开源 RWKV-6 1.6B(2.5T Tokens)模型。 相比 2 月 9 日发布的RWKV-6 Finch 1.6B,最新发布的 RWKV-6 1.6B(2.5T Tokens) 模型在训练过程中额外增加了 1.4T tokens 语料,这使得 RWKV-6 1.6B(2.5T Tokens)在多个任务的表现更出色。 评测数据 本次模型基准测试涵盖了 16 款接近 1.5B 参数规模的开源大语言模型,包括 RWKV 系列中的前代架构,如 RWKV-4 和 RWKV-5,也包括此前发布的 RWKV-6 Finch 1.6B。 在测试中,英语的性能测试将通过 12 个独立的基准测试来衡量大模型在常识推理和世界知识等英语内容上的表现。 多语言能力的评估中,则采用了 xLAMBDA、xStoryCloze、 xWinograd 和 xCopa 四种基准测试,深度探索了评估模型在多语言环境中的逻辑推理、故事理解、歧义解决和因果推理能力。 可以看到,在增加了 1.4T tokens 的情况下,RWKV-6 1.6B(2.5T ...
