您现在的位置是：首页 > 文章详情

什么是Token？为什么大模型要计算Token数

日期：2024-05-27点击：144收藏

在使用LLM大模型时，我们经常会遇到一个关键词，叫：Token。

比如：

最新版 GPT-4 Turbo 模型最高支持 128k token 上下文；

曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文；

在 GPT 商店创建角色时，核心 Prompt 最高支持 8000 token。

GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。

所以Token通常指的是：文本中可以被视为一个单独单位的元素，比如单词、数字或符号。

比如：我们文章经常用到的开篇问候，“大家好，我是运营黑客。”

其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”，以及中间出现的“，”和“。”，都可以被视作一个 Token。

对于文本类生成式AI来说，“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时，它通常分两步走：

第一步：将输入的内容分解成一个个 Token；

第二步：结合这些 Token 生成回应。

了解Token含义后，就很容易的明白token计费逻辑。

GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。

例如，你提问耗费了 100 token，GPT 根据你的输入，生成文本（也就是回答）了 200 token，那么一共消费的 token 数就是 300 。

在实际定价的过程中，因输入和输出token所带来的成本差异，所以会区分定价。

包含GPT在内的几乎所有的LLM的API都采用了Token计费模式：

例1：

例2：

例3：

基于Token计费模式，第一符合产品对象增量属性；第二符合边际成本的增量属性；对开发者来说是最容易接受和理解的一种模式。

参考链接：

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

Java分享