AMD市值破万亿那天,我们的大模型API刚好挂了 | token8341
AMD市值破万亿那天,我们的大模型API刚好挂了 | token8341 AMD市值冲破万亿美元的时候,我正盯着监控屏幕上一片飘红的告警。那天下午我们一个做智能客服的项目突然全线超时,用户投诉电话直接打到了我这。查了半天,原因很简单:我们主力调用的某家大模型API突然限流,并发一上来,整个队列就堵死了。 这不是什么稀奇事。过去两年,AI算力需求把芯片厂商的市值一路推高,AMD破万亿只是其中一个注脚。IDC的数据显示,2025年全球AI基础设施支出同比增长了34%,其中推理侧的算力消耗增速首次超过了训练侧。生成式AI从“训练模型”走到了“跑业务”的阶段,API调用量成了企业IT成本里增长最快的一...