LightSeq 是一个高性能的训练和推理库，用于在 CUDA 中实现序列处理和生成。它可以高效计算现代 NLP 模型，例如BERT、GPT、 Transformer等。因此，它最适用于机器翻译、文本生成、对话、语言建模、情感分析和其他具有序列数据的相关任务。

该库建立在 CUDA 官方库（cuBLAS、Thrust、CUB）和自定义内核函数之上， 这些函数专门为 Transformer 模型系列融合和优化。除了模型组件，推理库还提供了基于 TensorRT 推理服务器的易于部署的模型管理和服务后端 。使用 LightSeq，只需少量额外代码即可轻松开发修改后的 Transformer 架构。

特征

以下是 LightSeq 训练库支持的矩阵与 DeepSpeed 对比。

以下是 LightSeq 推理库支持矩阵与 TurboTransformers 和 FasterTransformer 的对比。