Web LLM:将语言模型聊天直接带到 Web 浏览器中
陈天奇团队新发布了一个可将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器的项目 —— Web LLM。“一切都在浏览器内运行,无需服务器支持,并使用 WebGPU 加速。这开辟了许多有趣的机会,可以为每个人构建 AI 助手,并在享受 GPU 加速的同时实现隐私。”
生成式 AI 和 LLM 方面最近的发展如火如荼,LLaMA、Alpaca、Vicuna 和 Dolly 等相继开源。但这些模型通常很大且计算量很大。要构建聊天服务的话,需要一个大型集群来运行推理服务器,同时客户端向服务器发送请求并检索推理输出,且通常还必须在特定类型的 GPU 上运行。
因此,Web LLM 项目的推出,是“为生态系统带来更多多样性的一步”。具体来说,通过实现将 LLM 直接 bake 到客户端并直接在浏览器中运行,可以为客户个人 AI 模型提供支持,从而降低成本、增强个性化和保护隐私。“如果我们可以简单地打开一个浏览器并直接将 AI 原生地带到你的浏览器选项卡,这不是更令人惊奇吗?生态系统中有一定程度的准备。这个项目为这个问题提供了肯定的答案。”
Web LLM 中采用的关键技术是机器学习编译(MLC)。该解决方案建立在开源生态系统的基础上,包括 Hugging Face、来自 LLaMA 和 Vicuna 的模型变体、wasm 和 WebGPU;主要流程则建立在 Apache TVM Unity 之上。
目前,WebGPU 已经发布到 Chrome 并且处于测试阶段,开发团队在 Chrome Canary 中进行了实验。用户也可以试用最新的 Chrome 113,但不支持 Chrome 版本 ≤ 112。Windows 和 Mac 上也已进行了相关的测试,运行的前提条件是一个 6.4G 内存的 GPU。
根据介绍,WebGPU 支持多个后端,除了 Apple Silicon 上的 Metal 之外,它还可以 offloads 到 Vulkan、DirectX 等;这意味着支持 Vulkan 的 Windows 笔记本电脑应该也可以使用。“我配备 AMDGPU 的 2019 年英特尔 MacBook 也能正常工作。当然,还有 NVIDIA GPU!我们的模型是 int4 量化的,大小是 4G,所以也不需要 64GB 的内存。6G 左右的地方应该就足够了。”
不过,Web LLM 团队也坦承该项目还有许多障碍需要跨越,包括在人工智能框架方面摆脱对硬件供应商维护的优化计算库的严重依赖、仔细规划内存使用并压缩权重等。“我们也不想只为一个模型做这件事。相反,我们想提供一个可重复和可破解的工作流程,使任何人都能够以高效的 Python 优先方法轻松开发和优化这些模型,并普遍部署它们,包括在 Web 上。”
除了支持 WebGPU,该项目还为 TVM 支持的其他类型的 GPU 后端(如 CUDA、OpenCL 和 Vulkan)提供了线束。
更多详情可查看官方公告。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
KDE 改进其多 GPU 基础架构
KDE 本周修复了很多 Bug 和其他问题,包括对多 GPU 基础设施进行了重大改革,用于 Plasma 6 中的 Intel 和 AMD GPU 变得“不再糟糕”。 之前开发组为了解决驱动程序的 Bug 强制 KWin 使用线性修改器。虽然成功解决了驱动的 Bug ,但又导致另一个显示问题:每当专用 GPU 用于合成时,连接到集成 GPU 的显示器上出现任何模糊,都会导致非常严重的性能问题。 最新的补丁合并稍微缓解了这个问题,而且标题还挺直白:“make multi gpu not suck”。 KDE 本周的其他更新: 新功能 在执行原本会自动跳到另一个窗口的操作时,现在可以选择不切换过去。 对于工作很有用,例如从电子邮件打开大量链接,但每次打开一个链接,窗口都会自动切换到 Web 浏览器中。启用新功能后,可以不自动跳转到浏览器。 用户界面改进 系统设置中的“突出显示更改的设置”功能现在可以在 Flatpak 权限页面上使用 使用Ctrl+.启动表情符号选择器窗口时,窗口弹出得更快。 身份验证对话框现在具有流线型样式 文件夹视图小部件使用弹出列表形式时,现在总是通过单击打开 在系统...
- 下一篇
Semi Design v2.33.0 发布,抖音企业级 UI 库
Semi Design 是现代、全面、灵活的设计系统和 UI 库,由字节跳动抖音前端与 UED 团队设计、开发并维护,是一款包含设计语言、React 组件、主题等开箱即用的中后台解决方案,可用于快速搭建美观的 React 应用。 Semi Design v2.33.0 现已发布,此版本带来如下更新内容: 【Fix】 修复 Transfer 中可拖拽 item 使用 label 作 SortableItem 的 key 导致相同 label 的 item 无法拖动问题 修复使用 cjs 产物时,Webpack plugin 配置的 prefixCls 不生效的问题#1544 修复 Sidesheet 在 mask=false 时,mask 背景内容无法点击的问题,影响范围 2.32.0-beta.0 ~ 2.33.0-beta.0#1543 修复 DatePicker disabledDate 回调中的 rangeStart 和 rangeEnd 使用缓存值问题#777 更新说明:https://github.com/DouyinFE/semi-design/releases/tag/v...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Hadoop3单机部署,实现最简伪集群
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7设置SWAP分区,小内存服务器的救世主