ncnn 发布 20210507 版本,int8 量化推理大幅优化超 500%
ncnn是腾讯开源为手机端极致优化的高性能神经网络前向计算框架。 仰赖ncnn社区开发者的贡献,ncnn在2019年年初便已实现int8模型量化和推理。但因后来失去社区开发者的持续投入,ncnn的int8量化推理效率迟迟没有加速。 ncnn github issue区大家关于int8量化后速度的质疑: 引用zhihu用户John Hexa关于《如何看待国内开源项目的不可持续性?》的一段回答: “开源的生命力并不在于“开源”,而在于为人类好好的、真正的解决掉一个问题。 不是自己提供一个半成品,指望别人完成成品。 而是自己要提供一个成品,让别人可以完成更好的成品。 不是自己提出一个问题,指望别人给你答案。 而是自己给出一个答案,让别人可以找到更好的答案。” 本以为,ncnn的开发者社区足够活跃,可以等到一位愿意为ncnn优化加速int8计算的贡献者。 这确实是我错了。 本次20210507版本,ncnn的int8量化工具和整个int8推理计算架构被进行了彻底重构,作者删除了老旧的kernel实现,亲自写了大量arm neon汇编,4w+行代码,用上armv8.2 dot指令加速。最终,在i...

