微信开源推理加速工具 TurboTransformers，性能超越 PyTorch/TensorFlow 与主流优化引擎
腾讯宣布开源 Transformer 推理加速工具 TurboTransformers。该工具面向自然语言处理领域中 Transformers 相关模型丰富的线上预测场景，据介绍，其在微信、腾讯云、QQ 看点等产品的线上服务中已经广泛应用，这也是腾讯对外开源的第 100 个项目。 在自然语言处理领域中，以 BERT 为代表的 Transformers 相关神经网络模型是近年来最重要的模型创新，可以为阅读理解、文章摘要、语义分类、同义改写等 NLP 任务提供显著的效果提升。但提高模型精度的同时，Transformes 相关模型也带来了更多的计算量。 由于深度学习的训练和推理任务存在差异，训练框架直接应用于线上推理并不能得到极致的性能。众多模型算法工程师都遇到了训练的模型效果很好，但因为响应延迟不满足要求，导致模型无法上线的问题。 在这种背景下，腾讯微信团队研发了 TurboTransformers 加速器。它来自于深度学习自然语言处理基础平台 TencentNLP Oteam，旨在搭建统一的深度学习 NLP （Natural Language Processing，自然语言处理）基础平台...
