您现在的位置是：首页 > 文章详情

RWKV 社区 10 月动态速览！

日期：2024-11-11点击：103收藏

欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2024 年 10 月的最新动态。

10 月动态省流版（TL;DR）

RWKV 社区活动
- 10 月 13 日，RWKV 团队在北京大学做了《RWKV 技术产品化与生态及模型架构》主题分享
RWKV 学术研究动态
- 新论文：VisualRWKV-HD and UHD，VisualRWKV 项目的高分辨率版本
- MATCC：基于 RWKV 架构的股价预测框架
- Bone：由 RWKV 社区发布的参数高效微调新方法
RWKV 社区项目动态
- OccRWKV：基于 RWKV 的 3D 语义占用预测项目，可用于自动驾驶、具身智能等领域
- Sudoku-RWKV：一个用于解决数独谜题的专用 RWKV 模型，仅 29M 参数
RWKV 社区活动预告
- 11 月 2 日（本周六），RWKV 团队会在浙江大学开展《RWKV 技术产品化与生态及模型架构》主题讲座

此版块包含 RWKV 官方动态 ，以及 RWKV 社区举办或参加的各类活动。

应北京大学创新学社的邀请，RWKV 团队于 10 月 13 日在北京大学做了一次《RWKV 技术产品化与生态及模型架构》主题分享。

此次分享吸引了线上线下共 200 多人参与，RWKV 团队与嘉宾们进行了深入的沟通交流。

RWKV 在北京大学

欢迎更多高校来交流、了解 RWKV 这种新型大模型架构。同时也欢迎科研工作者和创业者使用 RWKV，我们可以提供技术支持。

RWKV 学术研究包括基于 RWKV 架构的新论文 或 RWKV 社区参加的学术研究。

论文名称：VisualRWKV-HD and UHD: Advancing High-Resolution Processing for Visual Language Models
论文链接：https://arxiv.org/abs/2410.11665

VisualRWKV-HD and UHD 是 VisualRWKV 的高分辨率版本，VisualRWKV-HD 支持 1024×1024 的图片，VisualRWKV-UHD 支持 4096×4096 的图片。

这两个新模型更加适合图片-文档理解和 text-rich 的任务。

VisualRWKV-HD-UHD 的架构设计

论文名称：MATCC: A Novel Approach for Robust Stock Price Prediction Incorporating Market Trends and Cross-time Correlations
论文链接：https://dl.acm.org/doi/abs/10.1145/3627673.3679715

论文提出了基于 RWKV 架构的 "MATCC" 框架，可用于解决股价预测中的市场趋势和跨时间关联问题。

实验表明，MATCC 在预测准确性和投资组合表现方面显著优于其他模型，验证了股价趋势和跨时间关联在股票分析中的重要性。

MATCC 架构

免责声明：MATCC 框架仅用于研究目的，不保证其在股价预测方面的准确性。投资决策需自行谨慎判断，我们不对任何基于该框架预测结果的投资承担责任。

论文名称：Bone: Block Affine Transformation as Parameter Efficient Fine-tuning Methods for Large Language Models
论文链接：https://arxiv.org/abs/2409.15371
GitHub 仓库地址：https://github.com/JL-er/Bone

Bone 微调（Block Affine）是一种全新的参数高效微调方法（PEFT，Parameter-Efficient Fine-Tuning）。

相对 LoRA 微调，Bone 微调通过增强原始权重信息的利用率和强调权重间的内部联系，实现更快的收敛和更好的数据拟合。