Web LLM：将语言模型聊天直接带到 Web 浏览器中
陈天奇团队新发布了一个可将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器的项目 —— Web LLM。“一切都在浏览器内运行，无需服务器支持，并使用 WebGPU 加速。这开辟了许多有趣的机会，可以为每个人构建 AI 助手，并在享受 GPU 加速的同时实现隐私。” 查看演示网页以进行试用 生成式 AI 和 LLM 方面最近的发展如火如荼，LLaMA、Alpaca、Vicuna 和 Dolly 等相继开源。但这些模型通常很大且计算量很大。要构建聊天服务的话，需要一个大型集群来运行推理服务器，同时客户端向服务器发送请求并检索推理输出，且通常还必须在特定类型的 GPU 上运行。 因此，Web LLM项目的推出，是“为生态系统带来更多多样性的一步”。具体来说，通过实现将 LLM 直接 bake 到客户端并直接在浏览器中运行，可以为客户个人 AI 模型提供支持，从而降低成本、增强个性化和保护隐私。“如果我们可以简单地打开一个浏览器并直接将 AI 原生地带到你的浏览器选项卡，这不是更令人惊奇吗？生态系统中有一定程度的准备。这个项目为这个问题提供了肯定的答案。” Web LLM中采用的...
