Ai00 server，轻薄本都可运行的本地大语言模型服务器，发布 v0.1.8

AI00 Server是一个基于RWKV的推理API服务器。

支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！

无需臃肿的pytorch、CUDA等运行环境，小巧身材，开箱即用！

兼容OpenAI的ChatGPT API接口。

100% 开源可商用，采用MIT协议。

如果您正在寻找一个快速、高效、易于使用的LLM API服务器，那么AI00 RWKV Server是您的最佳选择。它可以用于各种任务，包括聊天机器人、文本生成、翻译和问答。

立即加入AI00 RWKV Server社区，体验AI的魅力！

===

v0.1.8 重大更新

支持int8量化，7B 模型在8G以上显卡可以达到 30tokens/S 以上

1080ti + 32G 内存 ，100tokens 3秒

AMD 集成显卡也无压力运行：

（这是运行全量未量化模型时的资源占用）

我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣，请加入我们！

• 💀编写代码
• 💬提供反馈
• 🔆提出想法或需求
• 🔍测试新功能
• ✏翻译文档
• 📣推广项目
• 🏅其他任何会对我们有所帮助的事

无论你的技能水平如何，我们都欢迎你加入我们。你可以通过以下方式加入我们：

• 加入我们的 Discord 频道
• 加入我们的 QQ 群
• 在 GitHub 上提交问题或拉取请求
• 在我们的网站上留下反馈

我们迫不及待地想与你合作，让这个项目变得更好！希望项目对你有帮助！