深度学习框架量化感知训练的思考及OneFlow的解决方案
作者 | BBuf 原文首发于公众号GiantPandaCV 0x0.总览 相信不少小伙伴都了解或者使用了一些深度学习框架比如PyTorch,TensorFlow,OneFlow(也是笔者目前正在参与开发的)。但当大家使用深度学习框架的训练量化方案时如果第一感觉是太复杂了,那么你可能会对这篇文章感兴趣!因为我在2个月前开始接触这个项目前,对量化感知训练的知识积累也非常少,并且我也会认为各个框架的量化感知训练方案很复杂,甚至不想研究这些API。 这篇文章我会以PyTorch的两代量化方案开始切入谈一谈他们的好处和坏处,然后我会讲讲我在吸收PyTorch的部分优秀成果(FX模块)并加上一些自己的想法后把OneFlow的量化感知训练方案做成了什么样。这里先罗列一下这篇文章中涉及到的知识点: PyTorch FX模块 Eager Pass 量化感知训练 Conv+BN的融合 OneFlow的动静转换(nn.Graph) ONNX TensorRT 如果你对上面的任意一个知识点不熟悉,那也完全没有关系。实际上即使你只会用PyTorch搭建模型,也可以快速把本文的量化感知训练方案用起来。因为量化感...
