用 KV 缓存量化解锁长文本生成
很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。 太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长文本生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。 你是否曾尝试过用语言模型生成很长的文本，却因为内存不足而望洋兴叹？随着语言模型的尺寸和能力不断增长，支持生成更长的文本意味着内存蚕食的真正开始。于是，磨难也随之而来了，尤其是当你的系统资源有限时。而这也正是 KV 缓存量化的用武之地。 KV 缓存量化到底是什么？如果你不熟悉这个术语，没关系！我们拆成两部分来理解: KV 缓存 和 量化 。 键值缓存或 KV 缓存是一种优化自回归模型生成速度的重要方法。自回归模型需要逐个预测下一个生成词元，这一过程可能会很慢，因为模型一次只能生成一个词元，且每个新预测都依赖于先前的生成。也就是说，要预测第 1000 个生成词元，你需要综合前 999 个词元的信息，模型通过对这些词元的表征使用矩阵乘法来完成对上文信息的抽取。等到要预测第 1001 个词元时，你仍然需要前 999 ...
