首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/388760

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MIT 推出新方法,显著提升大型语言模型计算效率

MIT 的研究团队近日发布了一项创新的计算方法,旨在提高大型语言模型(LLM)的运算效率,同时降低能源消耗。这项名为实例自适应缩放的技术,可以根据提问的复杂程度调整计算资源。 研究小组的相关论文于11月初发布,得到了 MIT-IBM 沃森人工智能实验室、MIT-Amazon 科学中心、MIT-Google 计算创新项目以及 MathWorks 的支持。 传统的大型语言模型在处理问题时,往往会使用固定的推理过程奖励模型(PRMs),这使得它们在面对不同复杂度的问题时,计算资源利用率不高,且常常高估成功的概率。 MIT 的研究人员通过重新设计 PRMs,使其能够根据不同的问题动态调整推理轨迹的数量。这样,简单的问题可以使用较少的计算资源,而复杂的问题则可以获得更多的推理支持。 研究人员指出,人的思维过程往往是通过分解复杂问题、逐步推理和不断修正来进行的,而 LLM 也同样能从这一过程中获益,能够在推理时获得更多的 “思考” 时间。 研究显示,采用这种新方法后,计算资源的使用量减少了一半,同时依然能够提供与现有模型相媲美的准确回答。此外,经过重新校准的 PRMs 也为较小的 LLM 提升了性...

智元开源 VideoDataset:基于 GPU 硬件解码的 VLM 训练加速利器

智元机器人团队宣布开源 VideoDataset,一个基于实际 AI 训练需求深度开发的高性能视频数据加载库。 极致性能: 通过将解码任务从传统的 CPU 转移到 GPU,充分挖掘硬件解码能力,吞吐量提升 4 倍。 随机访问: 解决了硬件解码通常不支持随机寻帧 (Random Seek) 的业界难题,专为 AI 训练设计的随机采样功能。 无缝集成: 兼容 PyTorch Dataset 接口,提供 Mixin 类,开发者改几行代码即可接入现有训练流。 为了更直观地评估 VideoDataset 的表现,智元方面进行了 VideoDataset 与主流 CPU 软件解码方案的全面性能对比测试,测试对象包括 OpenCV、Torchvision(PyAV)、Torchvision(VideoReader)和TorchCodec。 结果显示,VideoDataset与主流 CPU 软件解码方案对比,在解码吞吐量上提升了3到4倍。并且,它能更有效地分担计算负载,从而将解码任务近乎剥离CPU。这一优势使得 VideoDataset 在大规模视频数据训练中不仅能提供更高的解码效率,还能最大限度地利...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。