首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/368510

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微软开源文本转语音模型 VibeVoice,支持最多 4 位说话人同时发声

微软正式开源了其最新的文本转语音(TTS)模型VibeVoice-1.5B,该模型主打 “超长、多人、高压缩”,单次即可生成长达 90 分钟的连续语音,并支持最多 4 位说话人同时发声。 VibeVoice-1.5B 的核心创新在于其双 Tokenizer 设计。模型分为两个独立但协同工作的模块。 1. 声学 Tokenizer:负责保留声音特征并实现高压缩率 采用变分自编码器(VAE)的对称编码 - 解码结构,解决了传统 VAE 在长序列建模中容易出现的 “方差坍缩” 问题(即数据多样性丢失)。 通过 7 阶段的改进型 Transformer 模块和 1D 深度可分离因果卷积,将 24kHz 采样率的原始音频压缩为每秒仅 7.5 个潜在向量,累计压缩率达 3200 倍,压缩效率是主流 Encodec 模型的 80 倍。 2. 语义 Tokenizer:专注于提取与文本对齐的语义特征。 架构与声学 Tokenizer 的编码器部分一致,但移除了变分自编码器组件,以确保语义特征的确定性。 训练过程中,语义 Tokenizer 通过 “自动语音识别” 任务强制绑定语音与文本,最终舍弃解码器...

通义万相预告新模型 Wan2.2-S2V

通义万相团队深夜发布预告推文,称即将推出新模型 Wan2.2-S2V,该模型将具备生成带音频视频的能力。 通义万相Wan2.2是一款开源视频生成模型,它率先在视频生成扩散模型中引入 MoE 架构,有效解决视频生成处理 Token 过长导致的计算资源消耗大问题。Wan2.2 还首创了「电影美学控制系统」,光影、色彩、构图、微表情等能力媲美专业电影水平。例如,用户输入「黄昏」、「柔光」、「边缘光」、「暖色调」「中心构图」等关键词,模型可自动生成金色的落日余晖的浪漫画面;使用「冷色调」、「硬光」、「平衡图」、「低角度」的组合,则可以生成接近科幻片的画面效果。

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。