BentoML —— 统一模型部署框架

BentoML 是 AI 应用程序开发人员的平台，提供工具和基础架构来简化整个 AI 产品开发生命周期。BentoML 使创建准备好部署和扩展的机器学习服务变得容易。

数据科学家和 ML 工程师可以使用 BentoML：

• 加速并标准化将 ML 模型投入生产的过程
• 构建可扩展的高性能预测服务
• 在生产中持续部署、监控和运行预测服务

BentoML 原生支持所有流行的 ML 框架，包括 Pytorch、Tensorflow、JAX、XGBoost、HuggingFace、MLFlow，以及最新的预构建开源 LLM（大型语言模型）和生成式 AI 模型。

BentoML 可扩展你使用 Python 构建的 AI 工作负载。多模型图推理、并行模型推理和自适应批处理，以及许多高级 AI 功能，都包含在易于使用的 Python 原语中。

BentoML 是一个统一的 online、offline 和 streaming 框架；使用一个统一接口进行开发，该接口可以作为 REST API endpoin 或 gRPC service 轻松推出，集成到批处理工作负载的数据管道中，或使用流式架构进行实时处理。

BentoML 是用于创建 AI 应用程序的开放标准，它带来了一致性，使开发人员能够在所有 AI 产品团队中变得更加敏捷、创新和高效。

Highlights

Unified Model Serving API

• 适用于Tensorflow、PyTorch、XGBoost、Scikit-Learn、ONNX等的框架无关的模型打包
• 为预处理/后处理和业务逻辑编写自定义 Python 代码以及模型推理
• 为在线（REST API 或 gRPC）、离线批处理和流式推理应用相同的代码
• 用于构建多模型推理管道或图形的简单抽象

无摩擦过渡到生产的标准化流程

• 将Bento构建为 ML 服务的标准可部署工件
• 自动生成具有所需依赖项的 docker 镜像
• 使用 GPU 进行推理的简单 CUDA 设置
• 与 MLOps 生态系统的丰富集成，包括 Kubeflow、Airflow、MLFlow、Triton

具有强大的性能优化的可扩展性

• 自适应批处理根据服务器端最佳性能动态分组推理请求
• Runner 抽象将模型推理与你的自定义代码分开进行 scales
• 通过自动配置最大化你的 GPU和多核 CPU 利用率

以 DevOps 友好的方式部署到任何地方

• 通过以下方式简化生产部署工作流程：
  • BentoML Cloud：部署便当的最快方式，简单且大规模
  • Yatai：在 Kubernetes 上大规模部署模型
  • bentoctl：在 AWS SageMaker、Lambda、ECE、GCP、Azure、Heroku 等平台上快速部署模型！
• 使用 Spark 或 Dask 运行离线批量推理作业
• 对 Prometheus 指标和 OpenTelemetry 的内置支持
• 用于高级 CI/CD 工作流程的灵活 API