推理路径上的三个静默失效:NNAPI 回退、vLLM 调度参数与时序 Stacking 的边界
算法工程师最容易误判的阶段,不是训练收敛的那一刻,而是模型“已经跑通”之后。训练脚本正常结束,离线指标在验证集上站住了,模型导出、量化、打包、部署,每一步都返回成功。然后问题以另一种方式出现:端侧推理的延迟始终比仿真器高一个数量级,但没有任何异常抛出;推理服务的吞吐在并发上来后不升反降,TTFT 却悄悄翻倍;离线 stacking 的融合指标比单模高两个点,上线后融合模型的收益完全消失。这三件事的共同特征是发生在推理与组合路径上,不以报错的形式暴露,只以“性能不达预期&r...