这个高性能标准协议应该能使企业更容易从任何框架部署和查询机器学习模型。

机器学习有望改变行业现状。但是，它在企业中的应用速度比大家预期的要慢，因为这些组织很难自己部署和管理机器学习技术。部分挑战是机器学习模型通常使用定制技术进行训练和部署，从而难以跨服务器或不同部门进行模型的部署。

为此，甲骨文希望通过开源且高性能的标准网络协议来传输张量数据(tensor data) —— 这样的一种技术手段来解决上述挑战。这项新标准，甲骨文称之为 GraphPipe，可使企业更容易从任何框架部署和查询机器学习模型。

官方对 GraphPipe 的解释为，这是一种协议和软件集合，旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。

GraphPipe 旨在解决三个特殊挑战：

• 首先，模型服务 API 没有标准，这意味着业务应用程序通常需要定制客户端与已部署的模型进行通信。
  

• 接下来，构建模型服务器非常困难，并且几乎没有开箱即用的部署解决方案。
  

• 最后，企业现在通常使用的解决方案（如 python-JSON API）无法提供关键业务应用程序所需的性能。
  

GraphPipe 包括

• 一组 flatbuffer 定义
  

• 根据 flatbuffer 定义一致的模型的指南
  

• 来自各种机器学习框架的模型的示例
  

• 用于通过 GraphPipe 查询模型的客户端库

GraphPipe 功能特性

• 基于 flatbuffers 的微型机器学习传输规范

• 适用于 Tensorflow，Caffe2 和 ONNX 的简单高效参考模型服务器(reference model servers)

• Go，Python 和 Java 的高效客户端实现

使用这些工具，企业应该可跨多个服务器进行模型的部署，或者使用通用协议从不同的框架创建模型集合。GraphPipe 可以帮助为依赖远程运行模型的物联网应用程序部署机器学习。