北大团队集结开源社区力量，复现 OpenAI 视频生成模型 Sora -低调大师

北大团队集结开源社区力量，复现 OpenAI 视频生成模型 Sora

2024-03-04 321

北京大学袁粒团队联合兔展发起Open Sora项目——旨在复现OpenAI的视频生成模型Sora。由于资源有限，无法进行完整训练，因此希望通过开源社区筹集资源进行训练。

本项目希望通过开源社区的力量复现Sora，由北大-兔展AIGC联合实验室共同发起，当前资源有限仅搭建了基础架构，无法进行完整训练，希望通过开源社区逐步增加模块并筹集资源进行训练，当前版本离目标差距巨大，仍需持续完善和快速迭代。

https://github.com/PKU-YuanGroup/Open-Sora-Plan

整体框架上，Open-Sora由以下部分组成：

1. Video VQ-VAE：这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示，便于后续的处理和生成。

2.Denoising Diffusion Transformer：去噪扩散变换器（Denoising Diffusion Transformer）这个组件用于从潜在表示中生成视频，通过逐步减少噪声来恢复视频的详细内容。

3.Condition Encoder：条件编码器（Condition Encoder）支持多种条件输入，允许模型根据不同的文本描述或其他条件生成视频内容。

微信关注我们

原文链接：https://www.oschina.net/news/281369/pku-open-sora-plan

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于 mybatis 的 orm：mybatis-mp 1.4.1 发布 - 超丰富的 api！

1.3.9 更新： 1. 增加对枚举的 CRUD支持，让枚举和普通参数一样 2. 增加ModelEntityField 注解，支持Model字段与实体类字段不一样的问题 mybatis-mp 包含丰富的 api： 1：基于注解，映射数据库； 2：支持多表 join 和返回； 3：api 采用 lambda 和 stream 流式设计； 4：select 自动化以及结果 1 对 1,1 对多，超级方便快捷； 5：内置分页以及超强的 sql 优化功能； 6：稳定且性能极优； 7：轻量级封装 mybatis，几乎没有侵入； 8：api 丰富，支持数据库函数、多表、乐观锁、多租户、逻辑删除、默认值（可动态值）等众多功能； 9：零学习成本，和写 sql 一样方便。 10：支持复杂的返回关系映射：例如一对一，一对多，多对多； 11：支持自定义 sql 模板，再也不用担心框架支持不足； 12：内置代码生成器，通过配置，可定制自身规范； 13：全新的框架，全新的设计理念，新的就是好！

2024-03-04

329

3月1日，在谷歌 DeepMind 近日的一篇论文中，研究者提出了 RG-LRU 层，它是一种新颖的门控线性循环层，并围绕它设计了一个新的循环块来取代多查询注意力（MQA）。他们使用该循环块构建了两个新的模型，一个是混合了MLP和循环块的模型Hawk，另一个是混合了MLP与循环块、局部注意力的模型Griffin。 https://arxiv.org/pdf/2402.19427.pdf 针对一系列模型规模、在300B tokens上对Hawk和Griffin的过度训练，Hawk-3B在下游任务的性能上超越了Mamba-3B，但训练的tokens数量只有后者的一半。Griffin-7B和Griffin-14B的性能与Llama-2相当，但训练的tokens数量只有后者的1/7。此外，Hawk 和 Griffin 在 TPU-v3 上达到了与 Transformers 相当的训练效率。由于对角 RNN 层受内存限制，研究者使用了 RG-LRU 层的内核来实现这一点。

2024-03-04

261

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。