【直播】基于昇腾的大模型创新应用和实践指南
随着大模型技术快速发展,其在自然语言处理、多模态交互等领域的应用逐渐深入产业场景。然而,开发者与企业落地大模型时仍面临算力需求高、推理效率不足、部署成本优化难等现实问题。昇腾AI基础软硬件平台通过异构计算架构、全场景AI框架等技术,为大模型开发与部署提供了高效支撑体系。
4月9日晚,开源中国OSCHINA 直播栏目【数智漫谈】将邀请具备一线开发经验的技术专家,聚焦昇腾平台与大模型结合的创新实践。
直播亮点:
- 昇腾+大模型落地的真实场景与创新案例解析
- 从算法压缩到硬件协同,解密企业级模型高效部署策略
- 企业级模型在昇腾平台的实战调优经验,平衡性能与成本
- 昇腾生态技术大牛+国企 AI 实战派互动答疑
【数智漫谈】
OSCHINA 视频号直播畅聊栏目【数智漫谈】,每期一个技术话题,三五位专家围坐,各抒己见,畅聊开源。给大家带来最新的行业前沿、最热门的技术话题、最有趣的开源项目、最犀利的思想交锋。如果你手上也有新点子、好项目,想要跟同行交流分享,欢迎联系我们,讲坛随时开放~

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
字符串替换研究
一、背景 需求非常简单,给定一组关键词,需要将商品名称中出现过的关键字替换掉; 如:skuName="HUAWEI Pura 70 Pro 国家补贴500元 羽砂黑 12GB+512GB 超高速风驰闪拍 华为鸿蒙智能手机" 需要替换成 skuName="HUAWEI Pura 70 Pro 羽砂黑 12GB+512GB 超高速风驰闪拍 华为鸿蒙智能手机" 这里的关键字"国家补贴500元"; 直接skuName.replace("国家补贴500元", ""),不就可以了吗?如果是一组,那就循环替换就完了嘛,再考虑到关键字前缀问题,对这一组关键词,按字符长度进行排序,先替换长的关键词,再替换短的就ok了; 如果这一组关键词非常多,上千个怎么办?真实场景也是这样的,一般需要替换的关键词都是比较多,并且使用String.replace上线后,直接CPU打满,基本不可用; 这个字段替换本质上与敏感词过滤是一样的原理,针对敏感词的深入研究,出现了 Aho-Corasick(AC自动机) 算法; Aho-Corasick(AC自动机)是一种多模式字符串匹配算法,结合了Trie树的前缀匹配能力和KMP...
- 下一篇
大模型 Token 的消耗可能是一笔糊涂账
作者:望宸 如果您正在部署大模型应用,务必提前和 CEO 打好预防针,大模型应用远不如 Web 应用在资源成本上那么可控。 经典的 Web 应用,例如电商、游戏、出行、新能源、教育和医疗等,CPU 的消耗是可控的,和应用的在线人数和登陆时长成正相关,如果计算资源突增,可能是运营团队在做活动,也可能是预期外的突发流量,通过服务器弹性扩容后,稳定一段时间就会缩容到平时的状态,后端所消耗的资源是可追踪、可管控的。但大模型的 token 消耗并不是。 目录: 01 大模型 token 消耗和哪些因素有关 02 大模型 token 消耗的隐蔽性来源 03 Agent 的资源消耗账本更加复杂 04 如何控制 token 的异常消耗初探 05 总结 大模型资源消耗和哪些因素有关 根据量子位的一篇文章【1】,当输入"树中两条路径之间的距离",DeepSeek 就会陷入无限的思考,笔者实测消耗思考时间长达625秒(如下图),输出字数达2万字。这句话并不是复杂且意义不明的乱码,看上去完全就是一个普通的问题,非要挑刺的话,也就是表述得不够完整。 这种无限的重复思考,是模型自身的精神内耗,更会造成算力资源的浪...
相关文章
文章评论
共有0条评论来说两句吧...