探讨深度学习框架在端侧OS中的角色
5月24日,OSC源创会第113期活动在上海成功举办,本期活动以《LLM与操作系统:协同进化》为主题。百度飞桨硬件生态产品负责人王凯发表《探讨深度学习框架在端侧OS中的角色》主题演讲。 首先从市场与技术双重维度分析,王凯指出,当前端侧部署工具呈现开源与硬件专用方案并行的格局。开源方案如MLC-LLM (TVM) 和 llama.cpp,凭借轻量化设计、广泛的硬件覆盖(支持CPU/GPU)、丰富的量化方案以及在PC端的优秀体验,展现出强大的生态属性,为用户提供了开箱即用的便利。而另一方面,硬件巨头纷纷推出专用方案以最大化利用其硬件潜能:Intel的BigDL-LLM 可调用专用神经网络加速核;Apple的CoreML/MLX 能高效利用苹果NPU;高通的QNN-HTP 及其AI Hub、联发科的NeuroPilot 及其Model Hub,均专注于调用自家HTP/APU加速内核,并通过构建模型库和集成框架,打通从模型到推理的闭环体验。成功的端侧生态策略在于提供多硬件、多模型支持,充分借助生态力量扩大规模、提升体验、拓展场景,并通过对接或自建关键模型库,结合硬件市场份额和更优性能形成正反馈...

