RWKV 元始智能完成种子轮融资，非 Transformer 架构的开源大语言模型

元始智能是一家国产开源非Transformer架构大语言模型提供商，其核心产品RWKV兼具Transformer和RNN的优势：推理效率高且恒定，显存占用少且恒定，支持无限上下文，对芯片友好。

近日，RWKV元始智能完成种子轮融资，投资方为陆奇于2018年创立的奇绩创坛和某匿名投资者。目前元始智能已开始继续融第二轮。

RWKV是国产开源的首个非Transformer架构的大语言模型，目前已经迭代到第六代RWKV-6。

RWKV作者彭博在2022年5月开始训练RWKV-2，当时只有1亿（100M）参数规模，后续在2023年3月训练了RWKV-4 140亿（14B）参数版本。

RWKV-5的15亿和30亿参数版本已发布，且70亿参数版本会在2024年1月发布。而RWKV-6的15亿和30亿参数版本将在2024年2月发布，然后将继续训练70亿和140亿参数版本。

RWKV-5和RWKV-6系列的特点是支持全球100+种语言，也支持几十种编程语言，目前可以在 https://www.rwkv.com/ 体验在线Demo。