搜索[Token消耗]结果-低调大师优秀个人博客

精选列表

搜索[Token消耗]，共10000篇文章

深度优化 DeepSeek-V4：35token/s、单机承载 766K 上下文多智能体服务

英伟达开发者论坛用户 entrpi 于 7 月 15 日公开一套深度适配DGX Spark（GB10 Blackwell）的 DeepSeek-V4-Flash 推理分支 ds4-on-spark。早在 5 月初 antirez 发布原生 MLX 推理引擎 ds4 时，该开发者便在官方 CUDA 支持落地前，独立完成全套 CUDA 后端开发。上游官方引擎并未针对消费级 Blackwell 硬件做极致服务性能优化，因此作者持续迭代该分支，历经 10 周、409 次代码提交、新增 9 万余行代码，完成全栈深度优化，今日正式开源。

2026-07-24

从 PHP 到 AI + Golang，程序员自救转型手记（二十九）：token 过期清理、获取实例的方法名称规范统一

这是一个系列 Blog，作者将以一个 PHP 全栈工程师的身份，利用 AI 工具（claude code、codex、deepseek、豆包等）：从零开始学习 golang 语言，并最终完成 ai-go-admin（github | gitee）开源项目的制作，全程记录分享。

2026-07-10

开源中国董事长马越亮相2026数字价值年会：以Token治理破解AI落地焦虑，让每一分AI投入都有答案

” 直面Token焦虑：走一条中国特色的Token治理之路 GPU转起来，就意味着Token的持续消耗。

2026-09-16

村民、村干部、管理员三类角色的统一身份认证：万村乐数字乡村的 Sa-Token 落地记录

做万村乐数字乡村这类基层平台，身份这块比想象中麻烦。同一套数据，村民在小程序上看三务公开、发帖、逛一村一品商城；村干部在手机管理端帮老人录网格信息、审帖子、加减家庭积分；村管理员在村后台配菜单、开投票、发通知公告；镇县一级的人又要在政务管理端跨村看汇总。角色不同，入口不同，端也不同。

2026-08-20

从一张 287 美元账单到 4.4 万 star 的开源传奇：Netflix 工程师如何用 Headroom 为 AI Agent “瘦身” 90% 的 Token

Chopra 翻查了 Token 消耗明细，发现了一个他称之为"丑陋真相"的事实：他手写的提示词只占了一小部分，绝大多数 Token 消耗来自机器生成的膨胀数据，其中包括冗余的 JSON

2026-06-23

专为手机设计的最强高速推理引擎 PowerInfer-2，每秒 11.68 token，比其它最强快 22 倍，来自上海交通大学 IPADS

PowerInfer-2 是专为智能手机设计的高度优化的推理框架。PowerInfer-2 最多支持 Mixtral 47B MoE 模型，实现每秒 11.68 个令牌的惊人速度，比其它最先进的框架快 22 倍。即使对于 7B 型号，仅将 FFN 权重的 50% 放置在手机上，PowerInfer-2 仍然保持最先进的速度！ PowerInfer-2 的速度很快：异构计算：将粗粒度的矩阵计算分解为细粒度的“神经元簇”，然后根据不同硬件组件的特性动态调整这些簇的大小。 I/O 计算管道：神经元缓存和细粒度神经元簇级管道技术旨在最大化神经元加载和计算之间的重叠。 PowerInfer-2 的一个显著优势是其内存使用量显著减少。对 TurboSparse-Mixtral 模型施加了各种内存限制的情况下，比较 PowerInfer-2、LLM in a Flash 和 llama.cpp 的解码速度。结果清楚地表明，PowerInfer-2 明显优于其它框架。 PowerInfer-2 的另一个优势是其推理速度的提升。无论是在全内存场景还是卸载场景中，PowerInfer-2 的表现都远远优于其它框架，尤其是在智能手机上。对于 7B LLM，PowerInfer-2 的技术可以节省近40%的内存使用量，同时实现与 llama.cpp 和 MLC-LLM 一样快的推理速度。使用不同的卸载设置对 TurboSparse-Mistral-7B 上的 PowerInfer-2、llama.cpp 和 MLC-LLM 进行解码的速度。“50% 卸载”表示 FFN 块的 50% 模型权重被卸载到闪存中。“无卸载”表示所有模型参数都驻留在内存中。红色标签 ⨉ 表示由于缺乏权重卸载支持而导致执行失败。

2024-06-13

一个人、九个月、20 万行代码、每个月烧掉 40 亿+ token——造出一款Harness架构应用

一个人、九个月、20 万行代码、每个月烧掉 40 亿+ token——前五个月白天上班、晚上通宵，后面干脆辞职 all-in，就这么把 Notrat 1.3.0 磨到了上线这天（2026 年 9 月 12

2026-09-23

AI Infra 系列 · 第四章推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

推理是单行道：用户的问题（prompt）先整体算一遍（这叫 prefill），然后一次只能生成一个 token（这叫 decode）。

2026-08-26

上下文窗口翻倍至 400 万 Token，搭载 1.5T MoE 架构，月之暗面再度夯实“长文本之王”的绝对壁垒

"Grok 4.5 掀桌子，Hy3 把价格打到 1 元/M，ZCode 3.0 拉起自研 Agent 内核——

2026-07-16

企业AI支出失控？NJET AI网关帮您守住预算红线

不同模型的性能-成本曲线：并非所有场景都需要最顶端的模型 Token"滚雪球"效应：Token消耗量可能因用户、功能或工作流程的不同而有巨大差异，某个功能可能悄无声息地消耗掉另一个功能的10倍Token

2026-01-19

AI Coding 进入“计量时代”

尤其当 Agent 工作流、长上下文分析、复杂推理成为主流，Token 的消耗正呈指数级上升，开发者的账单将更加不确定。

2026-06-02

GPT-3 定价揭晓，价格并不便宜

Create版：100 美元/月、200 万 token/月，超过部分则按1k tokens消耗8 美分计算。

2020-09-08

Tokenmaxxing 已死？Tokenmaxxing 万岁

去年 Meta 把员工的 Token 消耗量写进了绩效考核。结果很行为艺术：员工让两个 Agent 互相对话一整天来刷量。

2026-06-30

Xiaomi MiMo-V2.5 系列大模型开启公测

MiMo-V2.5 全系列针对 Token 效率进行优化，用更少的 Token 做更多的事。

2026-04-23

我把 AI 编程助手的月账单砍了 70%：四个维度的降本实战

一个普通开发者的 AIGC 工具 token 成本优化记录2026 年了，AI 编程助手基本成了我们这行的标配，写代码、改 bug、出文档都离不开它，但月底一对账单，token 消耗动辄上万，不少人看得肉疼

2026-07-12

从月度账单看企业LLM成本治理：一个技术管理者的实践反思

更让我困惑的是，账单里有大量请求的token消耗明显不合理——简单的用户问候语"你好"，居然消耗了数千token。

2026-07-19

基于 NNCF 和 🤗 Optimum 面向 Intel CPU 对 Stable Diffusion 优化

因此，我们在本工作中，用 token 合并 (Token Merging) 方法结合 NNCF, OpenVINO 和 Diffusers 实践了该想法。优化流程我们通常从训练后的模型开始优化。

2023-07-12

项目迁移至workbuddy使用心得

Hermes agent最新版本是0.20.4，项目主要在它里面生成并运行成熟，但是调试代码和策略消耗Token较快，哪怕用国产模型，用免费的Agnes速度上受影响，免费额度倒挺足，也没有限流情况发生。

2026-08-21

阶跃星辰发布最新模型 Step 3.5 Flash 2603，提升推理效率与灵活性

其一，新增“低推理模式”，可根据实际任务需求进一步降低相关场景下的 Token 消耗，并提升输出效率。

2026-04-02

腾讯云国际站（云老大）：TokenHub大模型API调用架构，并发控制和重试机制怎么搭

TokenHub API 的 429 响应，本质不是偶发错误，而是限流器在发出一个明确信号：请求速率或 Token 消耗已经越过当前配额。

2026-08-20

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。