Lightseq —— 字节跳动开源的序列推理引擎
LightSeq 是一个高性能的训练和推理库,用于在 CUDA 中实现序列处理和生成。它可以高效计算现代 NLP 模型,例如BERT、GPT、Transformer等。因此,它最适用于机器翻译、文本生成、对话、语言建模、情感分析和其他具有序列数据的相关任务。 该库建立在 CUDA 官方库(cuBLAS、Thrust、CUB)和自定义内核函数之上,这些函数专门为 Transformer 模型系列融合和优化。除了模型组件,推理库还提供了基于TensorRT 推理服务器的易于部署的模型管理和服务后端。使用 LightSeq,只需少量额外代码即可轻松开发修改后的 Transformer 架构。 特征 以下是 LightSeq训练库支持的矩阵与DeepSpeed对比。 以下是 LightSeq 推理库支持矩阵与TurboTransformers和FasterTransformer的对比。
