Adlik Deer(V0.4.0)版本发布,模型推理加速就靠它啦

今天,Adlik Deer 版本 (V0.4.0) 发布啦!

本次的新版本中,可以看到 Adlik 最近一段时间的许多技术探索,对优化器来说有集成蒸馏、Zen-NAS 优化等;推理引擎也更易用、支持更多硬件和推理运行时。针对 Bert 的模型推理优化,Adlik 使用 Ansor 来搜索全局最优的张量调度方案,为动态输入的推理提供了专用调度器,在 x86 CPU 上能达到比 OpenVINO 更高的吞吐量。

欢迎大家体验试用新版本哦,用 Adlik 实现模型推理性能的飞跃。

Compiler

  1. Adlik 编译器支持 OpenVINO INT8 量化
  2. Adlik 编译器支持 TensorRT INT8 量化,支持扩展量化校准器,降低引入量化带来的精度下降

Optimizer

  1. 支持集成蒸馏方式,使用多教师网络进行蒸馏优化
  2. 支持 ZEN-NAS 搜索增强特性,包括并行训练,搜索加速优化,修复原有实现 bug 等,在搜索时间下降 15% 左右情况下,搜索 Score 略有提升,搜索到的模型训练精度提升 0.2%~1%

Inference Engine

  1. 支持 Paddle Inference Runtime,使用 Paddle 模型时无需再通过 Onnx 组件转换,直接可以在 Adlik 环境上运行推理。
  2. 支持 Intel TGL-U i5 设备推理,完成多模型支持验证,提交 Benchmark
  3. 云原生镜像发布 0.4 版本,支持引擎各组件最新版本:
    1. OpenVINO:2021.4.582 版本
    2. TensorFlow:2.6.2
    3. TensorRT:7.2.1.6
    4. Tf-lite:2.4.0
    5. TVM:0.7
    6. Paddle Inference:2.1.2
  4. 新增 C++ 版本 Client API,支持 cmake 和 bazel 方式编译,方便用户在 C/C++ 场景应用部署。

Benchmark Test

在 Intel TGL-U i5 设备完成 Resnet-50,Yolo v3/v4,FastRCNN,MaskRCNN 等模型 Benchmark 测试,包括时延,吞吐量,以及 GPU/CPU 视频解码下的各种性能指标。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/171874

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。