您现在的位置是:首页 > 文章详情

RWKV 参加奇绩创坛 2024 年春季创业营路演

日期:2024-06-11点击:12

2024年 6 月 6 日,RWKV 受邀参加奇绩创坛在北京中关村举办的 2024 年春季创业营路演。

RWKV 元始智能 COO 罗璇在会议上分享了 RWKV 的创新模型架构、最新进展及当前的研究方向。

目前, RWKV 架构的最新稳定版本是 RWKV-6 ,RWKV-6 14B 模型即将完成训练。与此同时,RWKV-7 全新架构已经开始小规模测试

RWKV-7 架构将进一步推动 RWKV 模型通往 AGI 之路,敬请期待!

在本次路演上,RWKV 元始智能展示了移动端 AI 音乐创作应用:RWKV 作曲家。

RWKV 作曲家内置了 RWKV 音乐模型,可在端侧本地轻松部署,用户可以在没有网络连接的情况下,在本地完成所有创作任务,确保了创作过程的私密性和高效性。

除了展示 RWKV作曲家,RWKV 元始智能还在奇绩路演的展台上演示了可以在 3000 元左右的笔记本电脑上流畅运行的 RWKV-6 7B 大语言模型。

本次演示的 RWKV-6 7B 模型,搭载了 RWKV 模型的独特 state 文件,可以以文言文格式回答用户的提问。

现场观众表示 RWKV state tuning bot 很风趣,不会很机械化,更贴近人类表达,能理解人类表达的潜在含义。文言文 state 唤起了观众对于古汉语文学的喜爱和探索,还能帮助学子理解和分析文言文句式,深受好评。

关于 RWKV 的 state

state 是 RWKV 这类模型特有的状态。微调 RWKV 的初始 state,就相当于最彻底的 prompt tuning 。 通过挂载不同的 state 文件,又可以使 RWKV 模型遵循特定的风格进行回答。

下面是搭载了文言文 state 的 RWKV 模型效果:

如果你想深入了解并体验 RWKV 模型的 state ,可以参考下面这篇文章:

RWKV 模型介绍

RWKV 是一种创新的深度学习网络架构,它将 Transformer 与 RNN 各自的优点相结合,同时实现高度并行化训练与高效推理,时间复杂度为线性复杂度,在长序列推理场景下具有优于 Transformer 的性能潜力。 作为非 Transformer 的创新型大模型架构RWKV 全球领先且完全自主,是迄今为止计算效率最高、能耗最低的大模型架构。

RWKV 模型架构论文:

RWKV 模型的最新版本是 RWKV-6 ,架构图如下:

相对 Transformer 架构,RWKV 架构的推理成本降低2~10倍,训练成本降低2 ~ 3倍。

加入 RWKV 社区

RWKV 中文文档:https://www.rwkv.cn

QQ 频道:https://pd.qq.com/s/9n21eravc

原文链接:https://www.oschina.net/news/296711
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章