DeepSeek 启用硬盘缓存技术，大模型价格再降一个数量级
DeepSeek 宣布启用上下文硬盘缓存技术，把预计未来会重复使用的内容，缓存在分布式的硬盘阵列中。如果输入存在重复，则重复的部分只需要从缓存读取，无需计算。该技术不仅降低服务的延迟，还大幅削减最终的使用成本。 缓存命中的部分，DeepSeek 费用为 0.1元 每百万 tokens。至此，大模型的价格再降低一个数量级。 目前，硬盘缓存服务已经全面上线，用户无需修改代码，无需更换接口，硬盘缓存服务将自动运行，系统自动按照实际命中情况计费。只有当两个请求的前缀内容相同时（从第 0 个 token 开始相同），才算重复。中间开始的重复不能被缓存命中。 两个经典场景的缓存举例： 多种应用能从上下文硬盘缓存中受益： 具有长预设提示词的问答助手类应用 具有长角色设定与多轮对话的角色扮演类应用 针对固定文本集合进行频繁询问的数据分析类应用 代码仓库级别的代码分析与排障工具 公告指出，该技术最高可以节省 90% 的费用（需要针对缓存特性进行优化）。即使不做任何优化，按历史使用情况，用户整体节省的费用也超过 50%。缓存没有其它额外的费用，只有0.1 元每百万 tokens。缓存占用存储无需付费。 该...
