云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理
01 背景 OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4，它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时，基于大语言模型的应用也如雨后春笋般出现，为我们带来了协同办公、客服对话、语言翻译、内容生成等方面前所未有的畅快体验。 然而，当我们享受着大语言模型带来的普惠 AI 能力时，它也给开发者们带来了前所未有的挑战。随着模型不断增大，计算量也达到了空前的高度，直接导致推理时间变长。为了解决大语言模型推理的延迟问题，业界已经提供了一些解决方案，比如 Tensorrt、FasterTransformer 和 vllm。为了帮助用户解决云原生系统中的大语言模型推理加速问题，云原生 AI 套件引入了 FasterTransformer 推理加速方案。 本文将在 ACK 容器服务上，以 Bloom7B1 模型为例展示如何使用 FasterTransformer 进行推理加速。本例中会使用以下组件： Arena Arena 是基于 Kubernetes 的机器学习轻量级解决方案，支持数据准备、模型开发，模...
