RWKV 社区 10 月动态速览！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2024 年 10 月的最新动态。
10 月动态省流版（TL;DR）
- RWKV 社区活动
- 10 月 13 日，RWKV 团队在北京大学做了《RWKV 技术产品化与生态及模型架构》主题分享
- RWKV 学术研究动态
- 新论文：VisualRWKV-HD and UHD，
VisualRWKV项目的高分辨率版本 - MATCC：基于 RWKV 架构的股价预测框架
- Bone：由 RWKV 社区发布的参数高效微调新方法
- 新论文：VisualRWKV-HD and UHD，
- RWKV 社区项目动态
- OccRWKV：基于 RWKV 的 3D 语义占用预测项目，可用于自动驾驶、具身智能等领域
- Sudoku-RWKV：一个用于解决数独谜题的专用 RWKV 模型，仅 29M 参数
- RWKV 社区活动预告
- 11 月 2 日（本周六），RWKV 团队会在浙江大学开展《RWKV 技术产品化与生态及模型架构》主题讲座
RWKV 社区活动
此版块包含 RWKV 官方动态 ，以及 RWKV 社区举办或参加的各类活动。
RWKV 进高校第一站：北京大学
应北京大学创新学社的邀请，RWKV 团队于 10 月 13 日在北京大学做了一次《RWKV 技术产品化与生态及模型架构》主题分享。
此次分享吸引了线上线下共 200 多人参与，RWKV 团队与嘉宾们进行了深入的沟通交流。
欢迎更多高校来交流、了解 RWKV 这种新型大模型架构。同时也欢迎科研工作者和创业者使用 RWKV，我们可以提供技术支持。
- 联系微信：jadexlaw
- 邮箱：luoxuan@rwkvos.com
RWKV 学术研究动态
RWKV 学术研究包括基于 RWKV 架构的新论文 或 RWKV 社区参加的学术研究。
VisualRWKV-HD and UHD
- 论文名称：VisualRWKV-HD and UHD: Advancing High-Resolution Processing for Visual Language Models
- 论文链接：https://arxiv.org/abs/2410.11665
VisualRWKV-HD and UHD 是 VisualRWKV 的高分辨率版本，VisualRWKV-HD 支持 1024×1024 的图片，VisualRWKV-UHD 支持 4096×4096 的图片。
这两个新模型更加适合图片-文档理解和 text-rich 的任务。
MATCC（股价预测模型）
- 论文名称：MATCC: A Novel Approach for Robust Stock Price Prediction Incorporating Market Trends and Cross-time Correlations
- 论文链接：https://dl.acm.org/doi/abs/10.1145/3627673.3679715
论文提出了基于 RWKV 架构的 "MATCC" 框架，可用于解决股价预测中的市场趋势和跨时间关联问题。
实验表明，MATCC 在预测准确性和投资组合表现方面显著优于其他模型，验证了股价趋势和跨时间关联在股票分析中的重要性。
免责声明：MATCC 框架仅用于研究目的，不保证其在股价预测方面的准确性。投资决策需自行谨慎判断，我们不对任何基于该框架预测结果的投资承担责任。
Bone（RWKV 高效微调方法）
- 论文名称：Bone: Block Affine Transformation as Parameter Efficient Fine-tuning Methods for Large Language Models
- 论文链接：https://arxiv.org/abs/2409.15371
- GitHub 仓库地址：https://github.com/JL-er/Bone
Bone 微调（Block Affine）是一种全新的参数高效微调方法（PEFT，Parameter-Efficient Fine-Tuning）。
相对 LoRA 微调，Bone 微调通过增强原始权重信息的利用率和强调权重间的内部联系，实现更快的收敛和更好的数据拟合。
Bone 微调方法及论文由 RWKV 社区成员 @J.L（Jiale Kang） 独立完成并发布。
RWKV 社区项目动态
此版块主要包括"RWKV 社区的新项目 " 和 "RWKV 社区项目的重要更新"等内容。
OccRWKV（RWKV3D 语义占用预测项目）
OccRWKV 是一个基于 RWKV 的 3D 语义占用预测项目，可用于自动驾驶、具身智能等领域。
OccRWKV 使用 BEV 空间和稀疏特征投影显著地降低了计算需求，非常适合增强机器人系统中的实时自主导航。
GitHub 仓库地址 ：https://github.com/jmwang0117/OccRWKV
🌟 OccRWKV 的 GitHub 仓库包含详细的训练环境配置 、训练数据集的收集 和模型训练文档。
Sudoku-RWKV（RWKV 数独模型）
Sudoku-RWKV 是一个用于解决数独谜题的专用 RWKV 模型。作为一个仅 29M 参数的小模型，Sudoku-RWKV 对最高 50 个空单元格的数独实现了近 100% 的准确率：
Sudoku-RWKV 的训练代码和数据制作脚本均已开源。
GitHub 仓库 ：https://github.com/Jellyfish042/Sudoku-RWKV
有关 Sudoku-RWKV 的详细介绍，请阅读：RWKV 通过几万 token 的 CoT 解决几乎 100% 的数独问题
关于《RWKV 社区动态》栏目
《RWKV 社区动态》栏目会不定期播报 RWKV 社区的最新消息，以帮助 RWKV 的关注者、爱好者、开发者更好地了解 RWKV 的发展情况。
《RWKV 社区最新动态》不定期更新，所以请保持关注我们的微信公众号（RWKV 元始智能）、QQ 频道（RWKV）等公开平台，以获取最新的消息。
