硅碳相变:骁龙8至尊版端侧跑300亿参数,云端API网关价值反增
硅碳相变:骁龙8至尊版端侧跑300亿参数,云端API网关价值反增 高通这代骁龙8至尊版在端侧AI上的步子迈得比我想的更大。预填充吞吐干到330 Token/s,端侧能塞进300亿参数的模型,这已经不是"手机跑个小模型玩玩"的量级了。峰会上演示的端侧多模态理解和实时翻译,延迟确实压到了人眼无感的程度。但我在台下想的是另一个问题:端侧都这么能打了,我们这些做云端大模型API聚合的,是不是该焦虑了? 答案是不焦虑,反而更忙了。 端侧模型的真实定位:不是替代云端,是给云端减负 300亿参数在端侧跑起来,听着唬人。但做过模型部署的人都知道,端侧量化的INT4精度下,这个体量的模型推理能力和云端千亿级参数...