Ai00 server,轻薄本都可运行的本地大语言模型服务器,发布 v0.1.8
AI00 Server是一个基于RWKV的推理API服务器。 支持VULKAN推理加速,可以在所有支持VULKAN的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!! 无需臃肿的pytorch、CUDA等运行环境,小巧身材,开箱即用! 兼容OpenAI的ChatGPT API接口。 100% 开源可商用,采用MIT协议。 如果您正在寻找一个快速、高效、易于使用的LLM API服务器,那么AI00 RWKV Server是您的最佳选择。它可以用于各种任务,包括聊天机器人、文本生成、翻译和问答。 立即加入AI00 RWKV Server社区,体验AI的魅力! === v0.1.8 重大更新 支持int8量化,7B 模型在8G以上显卡可以达到 30tokens/S 以上 1080ti + 32G 内存 ,100tokens 3秒 AMD 集成显卡也无压力运行: (这是运行全量未量化模型时的资源占用) 我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣,请加入我们! 💀编写代码 💬提供反馈 🔆提出想法或需求 🔍测试新功能 ✏翻译文档 📣推广项目 🏅其他任何...

