首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/351137

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大模型评估排障指南 | 关于推理

这是大模型评估排障指南系列文章的第一篇,敬请关注系列文章: 关于推理 关于 公式解析 关于可复现性 模型运行非常慢怎么办? 调整 batch size 如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。但如果增大 batch size (硬件条件允许的话) 将会加快推理速度。 数据并行 你可以将模型加载到多个 GPU 上,然后将数据集分为多个子集并分配给每个 GPU,最后汇总全部计算结果。 这意味着每个数据流是被并行同时处理的,从而将总执行时间缩短至 GPU 数分之一。尽量把 GPU 都放在一个节点上来避免跨节点传输瓶颈。 调整代码 不同的推理库由于代码优化的种种差异,推理速度不尽相同。你可能需要做一些对比试验来选出速度最快的库。如果模型层面你使用 pytorch 实现,建议可以参考这份 推理优化清单 。 https://pytorch.org/serve/performance_checklist.html 调整精度 你可以通过调整计算精度来减小模型大小,进而加快推理速度。虽然 float32 精度 (每个数字使...

​微软 Win11 五月更新惊人增大,AI 文件占据大部分空间

微软日前发布了针对 Windows1124H2和 Windows Server2025(24H2)的累积安全更新 KB5058411。令人惊讶的是,此次更新包的体积高达4368.9MB,远远超过了上个月的更新包 KB5059087的800MB。 根据科技媒体 borncity 的报道,有用户使用7-zip 工具解压了该更新包,结果显示其中常规安全更新的文件仅占约850MB,而其余约3GB 的文件则与微软的人工智能(AI)应用相关。这一巨大的 AI 文件体积引发了网友的广泛讨论和质疑。 微软官方表示,这些 AI 相关文件主要是为 Windows11AI+ PC 设备准备的,目的是安装和更新相关的 AI 功能。然而,该更新包也被推送至 Windows Server2025,而服务器环境通常并不需要 AI 功能,因此不少用户对微软的更新分发策略表示疑惑。 值得注意的是,微软在2021年11月曾承诺将优化 Windows10的累积更新体积,以减少下载和安装时间,并提到会通过周期性淘汰旧更新文件来提升更新效率和安全性。但此次将大规模的 AI 文件包裹在所有系统更新中的做法,似乎与之前的承诺相悖。...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册