每日一博 | 地址标准化服务 AI 深度学习模型推理优化实践
导读 深度学习已在面向自然语言处理等领域的实际业务场景中广泛落地，对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升：一方面，可以充分发挥部署硬件的能力，降低用户响应时间，同时节省成本；另一方面，可以在保持响应时间不变的前提下，使用结构更为复杂的深度学习模型，进而提升业务精度指标。 本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段，在精度指标不降低的前提下，AI模型的模型端到端推理速度最高可获得了4.11倍的提升。 1. 模型推理性能优化方法论 模型推理性能优化是AI服务部署时的重要环节之一。一方面，它可以提升模型推理的效率，充分释放硬件的性能。另一方面，它可以在保持推理延迟不变的前提下，使得业务采用复杂度更高的模型，进而提升精度指标。然而，在实际场景中推理性能优化会遇到一些困难。 1.1 自然语言处理场景优化难点 典型的自然语言处理（Natural Language Processing， NLP）任务中，循环神经网络（Recurrent Neural Network, RNN）以及BERT[7]（Bidirection...
