北大团队集结开源社区力量,复现 OpenAI 视频生成模型 Sora
北京大学袁粒团队联合兔展发起Open Sora项目——旨在复现OpenAI的视频生成模型Sora。由于资源有限,无法进行完整训练,因此希望通过开源社区筹集资源进行训练。
本项目希望通过开源社区的力量复现Sora,由北大-兔展AIGC联合实验室共同发起,当前资源有限仅搭建了基础架构,无法进行完整训练,希望通过开源社区逐步增加模块并筹集资源进行训练,当前版本离目标差距巨大,仍需持续完善和快速迭代。
整体框架上,Open-Sora由以下部分组成:
1. Video VQ-VAE:这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示,便于后续的处理和生成。
2.Denoising Diffusion Transformer:去噪扩散变换器(Denoising Diffusion Transformer)这个组件用于从潜在表示中生成视频,通过逐步减少噪声来恢复视频的详细内容。
3.Condition Encoder:条件编码器(Condition Encoder)支持多种条件输入,允许模型根据不同的文本描述或其他条件生成视频内容。
更多细节查看:https://pku-yuangroup.github.io/Open-Sora-Plan/blog_cn.html
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于 mybatis 的 orm:mybatis-mp 1.4.1 发布 - 超丰富的 api!
1.3.9 更新: 1. 增加对枚举的 CRUD支持,让枚举和普通参数一样 2. 增加ModelEntityField 注解,支持Model字段与实体类字段不一样的问题 mybatis-mp 包含丰富的 api: 1:基于注解,映射数据库; 2:支持多表 join 和返回; 3:api 采用 lambda 和 stream 流式设计; 4:select 自动化以及结果 1 对 1,1 对多,超级方便快捷; 5:内置分页以及超强的 sql 优化功能; 6:稳定且性能极优; 7:轻量级封装 mybatis,几乎没有侵入; 8:api 丰富,支持数据库函数、多表、乐观锁、多租户、逻辑删除、默认值(可动态值) 等众多功能; 9:零学习成本,和写 sql 一样方便。 10:支持复杂的返回关系映射:例如一对一 ,一对多,多对多; 11:支持自定义 sql 模板,再也不用担心框架支持不足; 12:内置代码生成器,通过配置,可定制自身规范; 13:全新的框架,全新的设计理念,新的就是好!
- 下一篇
谷歌发布 RNN 新架构,同等规模强于Mamba
3月1日,在谷歌 DeepMind 近日的一篇论文中,研究者提出了 RG-LRU 层,它是一种新颖的门控线性循环层,并围绕它设计了一个新的循环块来取代多查询注意力(MQA)。他们使用该循环块构建了两个新的模型,一个是混合了MLP和循环块的模型Hawk,另一个是混合了MLP与循环块、局部注意力的模型Griffin。 https://arxiv.org/pdf/2402.19427.pdf 针对一系列模型规模、在300B tokens上对Hawk和Griffin的过度训练,Hawk-3B在下游任务的性能上超越了Mamba-3B,但训练的tokens数量只有后者的一半。Griffin-7B和Griffin-14B的性能与Llama-2相当,但训练的tokens数量只有后者的1/7。 此外,Hawk 和 Griffin 在 TPU-v3 上达到了与 Transformers 相当的训练效率。由于对角 RNN 层受内存限制,研究者使用了 RG-LRU 层的内核来实现这一点。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS关闭SELinux安全模块
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7设置SWAP分区,小内存服务器的救世主