谷歌发布 RNN 新架构，同等规模强于Mamba-低调大师

谷歌发布 RNN 新架构，同等规模强于Mamba

2024-03-04 276

3月1日，在谷歌 DeepMind 近日的一篇论文中，研究者提出了 RG-LRU 层，它是一种新颖的门控线性循环层，并围绕它设计了一个新的循环块来取代多查询注意力（MQA）。他们使用该循环块构建了两个新的模型，一个是混合了MLP和循环块的模型Hawk，另一个是混合了MLP与循环块、局部注意力的模型Griffin。

https://arxiv.org/pdf/2402.19427.pdf

针对一系列模型规模、在300B tokens上对Hawk和Griffin的过度训练，Hawk-3B在下游任务的性能上超越了Mamba-3B，但训练的tokens数量只有后者的一半。Griffin-7B和Griffin-14B的性能与Llama-2相当，但训练的tokens数量只有后者的1/7。

此外，Hawk 和 Griffin 在 TPU-v3 上达到了与 Transformers 相当的训练效率。由于对角 RNN 层受内存限制，研究者使用了 RG-LRU 层的内核来实现这一点。

微信关注我们

原文链接：https://www.oschina.net/news/281384

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

北大团队集结开源社区力量，复现 OpenAI 视频生成模型 Sora

北京大学袁粒团队联合兔展发起Open Sora项目——旨在复现OpenAI的视频生成模型Sora。由于资源有限，无法进行完整训练，因此希望通过开源社区筹集资源进行训练。本项目希望通过开源社区的力量复现Sora，由北大-兔展AIGC联合实验室共同发起，当前资源有限仅搭建了基础架构，无法进行完整训练，希望通过开源社区逐步增加模块并筹集资源进行训练，当前版本离目标差距巨大，仍需持续完善和快速迭代。 https://github.com/PKU-YuanGroup/Open-Sora-Plan 整体框架上，Open-Sora由以下部分组成： 1.Video VQ-VAE：这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示，便于后续的处理和生成。 2.Denoising Diffusion Transformer：去噪扩散变换器（Denoising Diffusion Transformer）这个组件用于从潜在表示中生成视频，通过逐步减少噪声来恢复视频的详细内容。 3.Condition Encoder：条件编码器（Condition Encoder）支持...

2024-03-04

340

小米CEO雷军作为2024年全国人大代表，准备了4份建议案，分别关于绿色低碳、人工智能、智能驾驶、智能制造等领域。 1、关于加快建设制造业绿色低碳供应链的建议随着全球加速迈向碳中和时代，国际“绿色贸易壁垒”逐渐显现。我国制造业在实现“双碳”目标中担负着重要责任，同时也面临着供应链全链路贯通困境、国内行业碳数据库缺失以及供应链低碳转型压力等问题。建议：加快建立制造业碳足迹背景数据库，推动国际衔接与互认。支持打造绿色数字化供应链系统，实现供应链内协同联通。探索建立绿色电力全国交易机制，促进链主企业引领供应链绿色转型。 2、关于加强培养人工智能人才满足科技变革需求的建议从长期趋势看，各行各业对掌握人工智能基本技能的人力需求正急剧增长，以我国生成式人工智能的实际技术水平来看，特别是在顶尖人工智能人才储备方面还存在明显不足，人工智能复合型人才更加短缺。建议：从义务教育阶段普及人工智能素养教育。大力推进高校人工智能相关专业的建设。支持大型科技企业和教培机构培育人工智能应用型人才。 3、关于进一步规范智能驾驶产品安全应用的建议为更好地向智能汽车用户提供安全舒适的产品体验，进一步...

2024-03-04

371

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。