快 2 倍,TFLite 推出基于 OpenCL 的 Android 移动 GPU 推理引擎
TensorFlow Lite(TFLite)现在支持在 Android 设备上使用 OpenCL 进行 GPU 推理,这一改进使得 TFLite 性能比使用现有 OpenGL 后端提高了约 2 倍。 TensorFlow Lite 团队介绍了目前其使用 OpenCL在移动 GPU 推理上所取得的进展,并宣布正式推出基于 OpenCL 的 Android 移动 GPU 推理引擎,该引擎在大小合理的神经网络上可比现有的 OpenGL 后端提供高达 2 倍的性能提升。 OpenGL ES 3.1 中添加了计算着色器,但其向后兼容的 API 设计决策限制了发挥 GPU 的全部潜能。另一方面,OpenCL从一开始就是为使用各种加速器进行计算而设计的,因此与移动 GPU 推理领域更加相关。因此,TFLite 团队研究了基于 OpenCL 的推理引擎,引入了一些功能,使得能够优化移动 GPU 推理引擎。 相比之下,新的移动 GPU 推理引擎有以下要点: 性能分析:与 OpenGL 相比,优化 OpenCL 后端要容易得多,因为 OpenCL 提供了良好的分析功能与高通Adreno很好的支持。使用这...
