IBM 开源 ModelMesh,使开发者能够大规模部署 AI 模型
IBM 近日宣布
,已将其用于公司内部的 ModelMesh
模型服务开源,并贡献给 KServe 开源社区。ModelMesh 专为大规模、高密度和频繁变化的模型用例而设计,可以帮助开发者扩展 Kubernetes。
模型服务是人工智能领域的一个重要组成部分。它使用人工智能模型中提供的推理来响应用户的请求。那些接触过企业级机器学习应用的用户或开发者应该知道,它们通常不是由一个模型提供推理,实际上是由数百甚至数千个模型在串联运行。由于 AI 模型的计算成本很高,因为你不可能在每次要提供请求时都启动一个专用容器。
除此之外,因为存在一些限制,这对在 Kubernetes 集群上部署大量模型的开发者来说也是一个挑战:
- 计算资源限制
- 最大 pod 限制(Kubernetes 建议每个节点最多有 100 个 pods)
- 最大 IP 地址限制(一个拥有 4096 个 IP 的集群可以部署大约 1000 到 4000 个模型)
IBM 通过其专有的 ModelMesh 模型服务管理层为 Watson 产品(如 Watson Assistant、Watson Natural Language Understanding 和 Watson Discovery)解决了这个难题。由于这些模型已经在生产环境中运行了多年时间,ModelMesh 已经针对各种场景进行了全面测试。现在,IBM 将这一管理层与控制器组件以及模型服务运行时一起贡献给了开源社区。
ModelMesh 使开发者能够在 Kubernetes 之上以 "极大规模" 部署 AI 模型。它具有缓存管理的功能,也充当一个平衡推理请求的路由。模型被智能地放置在 pods 中,并且能够适应临时中断。开发者无需任何外部协调机制就可以轻松升级部署的 ModelMesh。它可以自动确保一个模型在路由新的请求之前已经完全更新和加载。
IBM 用一些统计数据解释了 ModelMesh 的可扩展性:
一个部署在单个工作节点 8vCPU x 64G 集群上的 ModelMesh 实例能够打包 2 万个简单字符串模型。除了密度测试之外,我们还通过发送数千个并发推理请求来对 ModelMesh 服务进行负载测试,以模拟高流量的假日场景,所有加载的模型都以个位数毫秒的延迟做出响应。我们的实验表明,单个工作节点支持 2 万个模型,每秒最多 1000 个查询,并以个位数毫秒的延迟响应推理任务。
ModelMesh 与 KServe 相结合,还将为部署在生产中的模型增加可信的人工智能指标,如可解释性与公平性。目前该项目已托管至 GitHub 平台,可点击链接进一步了解该项目。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
weggli —— C/C++ 代码库语义搜索工具
weggli 是一个快速且强大的 C 和 C++ 代码库语义搜索工具,旨在帮助安全研究人员识别大型代码库中的有趣功能。 weggli 根据用户提供的查询对抽象语法树执行模式匹配。它的查询语言类似于 C 和 C++ 代码,可以轻松将有趣的代码模式转换为查询。 weggli 受到Semgrep、Coccinelle、joern和CodeQL等工具的启发,但做出了一些不同的设计决策: C++ 支持:weggli 对现代 C++ 构造提供一流的支持,例如 lambda 表达式、基于范围的 for 循环和 constexprs。 Minimal setup:weggli 应该对你会遇到的大多数软件开箱即用。weggli 不需要构建软件的能力,并且可以使用不完整的源或缺少的依赖项。 Interactive: weggli 是为交互式使用和快速查询性能而设计的。大多数情况下,weggli 查询会比 grep 搜索快。目标是启用交互式工作流,可以在代码审查和查询创建/改进之间快速切换。 Greedy:weggli 的模式匹配旨在为特定查询找到尽可能多的(有用的)匹配项。虽然这会增加误报的风险,但它简化...
- 下一篇
J 语言联合创始人 Roger Hui 因癌症去世
J 语言邮件列表昨日发布了 J 语言发明者之一 Roger Hui 去世的讣告。 我们从讣告得知,Roger Hui 在与癌症抗争数年后,于 2021 年 10 月 16 日星期六下午安详离世,生命的最后时光在临终关怀医院度过,享年 68 岁。 根据维基百科的介绍,J 语言是图灵奖获得者 Kenneth E. Iverson 和许国华 (Roger Hui) 于 1990 年代初发明的一种阵列编程语言,是 APL 语言(亦是由 Kenneth E. Iverson 所创)的继承者。 邮件显示,Roger 去世的讣告由 Kenneth E. Iverson 儿子 Eric Iverson 发出。从 Eric 的描述来看,Roger 与Kenneth 不仅仅是工作上密切合作的伙伴,更是生活中的好友。虽然 Roger 和Kenneth 共同创造了 J 语言,并为 APL 做出了重大贡献,但Eric 表示自己得知 Roger 去世的消息后,他首先想到的是父亲和 Roger 一起相处时的快乐。 Roger Hui 是一名华人计算机科学家,从上世纪 90 年代初期开始,他开始与 Kenneth E...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS关闭SELinux安全模块
- CentOS6,7,8上安装Nginx,支持https2.0的开启