RWKV模型启动工具RWKV Runner新手教程（上）

大家好，今天我们带来了 RWKV Runner 的新手教程。

RWKV Runner 是 RWKV 模型的管理和启动工具，由 RWKV 开源社区成员 josStorer 开发，它本身也是一个开源软件，且体积仅 10MB 左右（不含依赖项）。

RWKV Runner 仓库地址：https://github.com/josStorer/RWKV-Runner

用户可使用 RWKV Runner 轻松运行本地 RWKV 模型，体验各类 AI 功能，包括但不限于聊天、写作、作曲交互等。

这篇新手教程（上篇）旨在为一些刚接触 RWKV 大模型的朋友们提供指引。遵循本文的步骤，应该可以成功使用 RWKV Runner 驱动本地 RWKV 模型，体验 RWKV 模型的魅力。

软件特性

• 🤖 开箱即用的 AI 功能：易于使用的聊天、写作、作曲交互等 AI 功能，支持聊天预设，支持 MIDI 硬件输入及音轨编辑等功能。

• ✨ 用户友好的 UI 设计：易于理解和操作的参数配置，丰富的操作引导提示；支持多语言；支持主题切换；支持自动更新

• ⚙️ 丰富的内置功能：内置 WebUI 选项，可一键启动 Web 服务，共享硬件资源，内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)

• 🥂 强大的兼容性：预设多级显存配置，几乎在各种电脑上工作良好。（通过配置页面将 Strategy 切换到 CPU / WebGPU，可以在 AMD、Intel 等显卡上运行）。

• 🧷 前后端分离架构：用户可以在服务器部署 backend-python，然后将此程序仅用作客户端，也允许单独部署前端服务，或后端推理服务，或具有 WebUI 的后端推理服务。

下载与安装

RWKV Runner 仓库提供 Windows、MacOS、Linux 平台的安装包，在  Releases 页面可以下载。

若 Github 下载链接无法打开或下载速度太慢，可以在 Baidu 网盘中下载对应的安装包。

Baidu 网盘地址：https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

注意：无论下载哪个版本，请将程序放在一个空目录（空文件夹）内再执行，因为软件所有依赖文件均会放在此目录。

准备启动环境

在体验 RWKV Runner 的 AI 功能之前，需要确保设备中安装了 Python 和 Pytorch 等依赖项，这是 RWKV Runner 正常运作的前提。

以下两种方法可为你的 RWKV Runner 软件提供完整的启动环境：

方法 1：下载懒人包

下载 Baidu 网盘中的懒人包，然后在一个空白的目录中解压懒人包。

下载地址：https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

懒人包中预置了 Python 、 Pytorch 等依赖项，以及一个 3B 的 RWKV 模型。下载至本地并解压即可使用。

方法 2 ：通过 RWKV Runner 自动下载

首次打开 RWKV Runner 软件时，点击“运行”按钮，软件会提示你缺失 Python 等依赖项。

跟随软件的引导点击 “安装”，RWKV Runner 会为你自动下载并安装所需的文件。

下载完成并启动 RWKV Runner 后，放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录：

其中 models 文件夹用于存放 RWKV 模型，RWKV Runner 默认从此文件夹读取本地 RWKV 模型。

启动环境只需在首次启动 RWKV Runner 时配置一次。

对于 Mac 和 Linux 用户，请手动安装 Python3.10 (通常最新的系统已经内置了)。此外，你可以在设置中指定使用的 Python 解释器。

模型配置与运行

完成启动环境的配置后，我们可以开始下一步：配置、下载并运行 RWKV 模型。

为了照顾新手用户，RWKV Runner 内置了一系列预设模型配置，以降低使用难度。

每个模型配置名称的规则，依次代表着：设备-所需显存/内存-模型规模-模型语言。

例如 GPU-8G-3B-CN，表示该配置用于 Nvidia 显卡，需要 8G 显存，模型规模为 30 亿参数，使用的是中文模型。

模型的规模越大，理论上的任务效果会更好，但对设备的内存、显存等性能要求也会更高。

我该选择哪一项模型配置？

1. 如果你使用 NVIDIA（英伟达）的显卡，可以选择“GPU” 前缀的预设模型配置。

2. 如果你使用的是 AMD 或 Intel 的显卡，请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。

选择一项预设的模型配置后，点击右下角的 运行 按钮，即可运行对应的模型。

如果你尚未拥有该预设配置所需的 RWKV 模型，请点击弹窗的“下载”按钮，系统将自动为你下载对应的模型文件。（如果模型下载失败或无响应，请看下一个章节：其他模型下载方法）

等待模型下载完成，再度点击 运行 按钮，即可启动模型，并运行各类 AI 功能。

其他模型下载方法

有几种方法可以下载 RWKV 模型：

1. 在 RWKV runner 中下载（默认）

在 RWKV runner 的“模型”版块，可以筛选并下载 RWKV 模型。

注意：如果你无法科学上网，请先勾选 使用 Hugging Face 镜像源 再下载模型。

2.在 Huggingface 镜像站中下载

如果 RWKV runner 的下载任务迟迟未响应，你可以按以下步骤手动下载：

1. 手动复制 Huggingface 镜像站的地址
2. 在浏览器中下载 RWKV 模型

3. 将模型放在 models 文件夹中

3. 在 Huggingface 中下载

• RWKV-5 模型下载：https://huggingface.co/BlinkDL/rwkv-5-world

• RWKV-6 模型下载：https://huggingface.co/BlinkDL/rwkv-6-world

👀 功能预览

RWKV runner 可提供基于 RWKV 模型的聊天、写作、作曲三项基础功能。

如果你不知道如何提示 RWKV 模型，才能让它更好地完成某项任务。可以从以下途径获得 RWKV-Prompts（提示词）参考：

1：参考我们整理的 RWKV-Prompts（提示词）示例，地址：https://shoumenchougou.github.io/Awesome-RWKV-Prompts

2：加入 RWKV 企鹅群 ：224287095 ，在群里提问（请附上任务文本）

聊天功能

软件提供了开箱即用的聊天功能，你可以与 AI畅聊、提出问题并获取建议。

写作功能

写作功能可根据你提供的文本内容作进一步的续写、翻译等任务。

作曲功能

作曲功能可提供基于 MIDI 格式的乐谱创作、续写等功能，同时为生成的乐谱提供播放功能。

MIDI（Musical Instrument Digital Interface）是一种音乐数字化协议，它不传输录制的声音，而是使用标准化的数据格式来描述各种音乐元素，例如音符音调信息、旋律、节奏、声音效果等等。

 

---

 

RWKV Runner 新手教程（下篇）很快将发布。在教程下篇中，我们将重点介绍 RWKV Runner 的进阶用法，包括自定义模型参数调整、服务器部署、API 相关、模型微调等内容，敬请期待！

RWKV 模型介绍

RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于 Transformer 的性能潜力。

图：RWKV 架构

RWKV 模型的最新版本是 RWKV-6 ，架构图如下：

图：RWKV-6 架构

相对 Transformer 架构，RWKV 架构的推理成本降低 2~10 倍，训练成本降低 2~3 倍。 RWKV 模型最初由彭博设计，如今，RWKV 已捐赠给 Linux Foundation AI&Data 作为孵化项目。

加入 RWKV 社区

RWKV 官网：https://www.rwkv.com/

QQ 频道：https://pd.qq.com/s/9n21eravc