RWKV-6-World-7B-v3 模型正式开源发布,新增 3.1T 训练数据
2024 年 11 月 13 日,RWKV-6-World-7B-v3 模型正式开源发布。 对比 RWKV-6-World-v2.1 模型,RWKV-6-World-v3 模型新增了 World-v3 数据集(约 3.1T tokens),对比 v2.1 数据集补充了优质英文网页、代码、中文小说、多语言数据、数学数据、指令数据等。 更多的训练数据带来更好的模型性能,RWKV-6-World-7B-v3 的各方面能力显著增强,包括中文小说、对话、代码、数学能力。 RWKV-World 是 RWKV 模型的全球多语言训练数据集, World 数据集的每个版本号对应不同的数据量: World v1 ≈ 0.59T tokens World v2 数据集 ≈ 1.12T tokens,v2 模型的总训练数据 ≈ 1.12T tokens World v2.1 数据集约 1.4T tokens, v2.1 模型的总训练数据是 v2(1.12T)+ v2.1(1.4T)≈2.5T tokens World v3 数据集约 3.1T tokens, v3 模型的总训练数据是 v2(1.12T)+ v...