Adlik 喊你来体验 Cheetah 版本啦!
Adlik 项目的 Cheetah 版本发布啦!
Adlik 是由中兴通讯向 Linux 基金会 AI&Data 基金会捐献的一个开源项目,旨在为深度学习落地提供一个简单有效的工具,加速深度学习模型在不同部署环境下的推理速度。Adlik 中通过模型编译器、模型优化器来优化深度学习模型并根据具体的硬件环境完成模型的编译,然后由推理引擎实现模型在云、边、端等环境下的运行。
相较于上个版本,Adlik 做了很多优化,在 MLPerf 的测试中有不错的表现。看看下面的新特性,哪个是你感兴趣的呢?快来下载体验,期待你的反馈哦。
模型编译器 Model Compiler
-
Adlik 编译器扩展支持多种新的深度学习框架,包括 PaddlePaddle、Caffe 和 MxNet
-
Adlik 编译器目标模型格式扩展支持 TVM
-
编译器支持 OpenVINO 量化
-
支持 TVM 自动搜索,通过重新规划调度模板,采用全局自动调度搜索方案,对 Resnet50 模型进行优化,推理时延在x86 CPU 下略优于 OpenVINO(基于 MLPerf 测试结果)
模型优化器 Model optimizer
-
Yolo V4 模型优化
-
Resnet-50 最新剪枝,蒸馏,量化等优化,模型大小压缩 93%,精度 76%,推理时延 1.33ms(MLPerf测试),8 核推理比原始模型提升 5.0x,单核提升 10.7x
推理引擎 Inference Engine
-
支持 TVM TF-TRT 运行时
-
云原生镜像发布 0.3 版本,支持引擎各组件最新版本:
– OpenVINO:2021.1.110版本
– TensorFlow:2.4.0
– TensorRT:7.2.1.6
– TFLite:2.4.0
– TVM:0.7
