滴滴开源 AoE:一种快速集成 AI 的终端运行环境 SDK
滴滴开源了一个终端侧 AI 集成运行时环境(IRE)——AoE(AI on Edge)。AoE 以 “稳定性、易用性、安全性” 为设计原则,可以帮助开发者将不同框架的深度学习算法轻松部署到终端高效执行。 滴滴之所以要做这样一个运行时框架,原因有两个: 一是随着人工智能技术快速发展,这两年涌现出了许多运行在终端的推理框架,在给开发者带来更多选择的同时,也增加了将 AI 布署到终端的成本; 二是通过推理框架直接接入 AI 的流程比较繁琐,涉及到动态库接入、资源加载、前处理、后处理、资源释放、模型升级,以及如何保障稳定性等问题。 根据介绍,当前有以下 8 种终端运行的主流推理框架: 从本质上来说,无论是什么推理框架,都必然包含初使化、前处理、执行推理、后处理、释放资源这5 个处理过程,对这些推理过程进行抽象,是 AoE 支持各种推理框架的基础。目前 AoE 实现了对两种推理框架 NCNN 和 TensorFlow Lite 的支持。 具体来说,AoE 集成运行环境最基本的便是抽象推理操作,通过依赖倒置的设计,使得业务只依赖 AoE 的上层抽象,而不用关心具体推理框架的接入实现。这种设计带来的...


