首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/351137

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大模型评估排障指南 | 关于推理

这是大模型评估排障指南系列文章的第一篇,敬请关注系列文章: 关于推理 关于 公式解析 关于可复现性 模型运行非常慢怎么办? 调整 batch size 如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。但如果增大 batch size (硬件条件允许的话) 将会加快推理速度。 数据并行 你可以将模型加载到多个 GPU 上,然后将数据集分为多个子集并分配给每个 GPU,最后汇总全部计算结果。 这意味着每个数据流是被并行同时处理的,从而将总执行时间缩短至 GPU 数分之一。尽量把 GPU 都放在一个节点上来避免跨节点传输瓶颈。 调整代码 不同的推理库由于代码优化的种种差异,推理速度不尽相同。你可能需要做一些对比试验来选出速度最快的库。如果模型层面你使用 pytorch 实现,建议可以参考这份 推理优化清单 。 https://pytorch.org/serve/performance_checklist.html 调整精度 你可以通过调整计算精度来减小模型大小,进而加快推理速度。虽然 float32 精度 (每个数字使...

​微软 Win11 五月更新惊人增大,AI 文件占据大部分空间

微软日前发布了针对 Windows1124H2和 Windows Server2025(24H2)的累积安全更新 KB5058411。令人惊讶的是,此次更新包的体积高达4368.9MB,远远超过了上个月的更新包 KB5059087的800MB。 根据科技媒体 borncity 的报道,有用户使用7-zip 工具解压了该更新包,结果显示其中常规安全更新的文件仅占约850MB,而其余约3GB 的文件则与微软的人工智能(AI)应用相关。这一巨大的 AI 文件体积引发了网友的广泛讨论和质疑。 微软官方表示,这些 AI 相关文件主要是为 Windows11AI+ PC 设备准备的,目的是安装和更新相关的 AI 功能。然而,该更新包也被推送至 Windows Server2025,而服务器环境通常并不需要 AI 功能,因此不少用户对微软的更新分发策略表示疑惑。 值得注意的是,微软在2021年11月曾承诺将优化 Windows10的累积更新体积,以减少下载和安装时间,并提到会通过周期性淘汰旧更新文件来提升更新效率和安全性。但此次将大规模的 AI 文件包裹在所有系统更新中的做法,似乎与之前的承诺相悖。...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。