VALL-E X —— 多语言文本到语音合成与语音克隆-低调大师

VALL-E X —— 多语言文本到语音合成与语音克隆

2024-02-18 374

微软 VALL-E X 零样本语音合成模型的开源实现。预训练模型现已向公众开放，供研究或应用使用。

VALL-E X 是一个强大而创新的多语言文本转语音（TTS）模型，最初由微软发布。虽然微软最初在他们的研究论文中提出了该概念，但并未发布任何代码或预训练模型。

VALL-E X 可以为单语使用者合成另一种语言的个性化语音。以源自源文本和目标文本的音素序列以及源自音频编解码器模型的源声学标记作为提示，VALL-E X 能够生成目标语言的声学标记，然后将其解压缩为目标语言语音波形。得益于强大的上下文学习能力，VALL-E X不需要同一说话人的跨语言语音数据进行训练，可以执行各种零样本跨语言语音生成任务，例如跨语言文本到-语音合成和语音到语音翻译。

功能特点

多语言 TTS: 可使用三种语言 - 英语、中文和日语 - 进行自然、富有表现力的语音合成。
零样本语音克隆: 仅需录制任意说话人的短短的 3~10 秒录音，VALL-E X 就能生成个性化、高质量的语音，完美还原他们的声音。

语音情感控制: VALL-E X 可以合成与给定说话人录音相同情感的语音，为音频增添更多表现力。
零样本跨语言语音合成: VALL-E X 可以合成与给定说话人母语不同的另一种语言，在不影响口音和流利度的同时，保留该说话人的音色与情感。
口音控制: VALL-E X 允许您控制所合成音频的口音，比如说中文带英语口音或反之。
声学环境保留: 当给定说话人的录音在不同的声学环境下录制时，VALL-E X 可以保留该声学环境，使合成语音听起来更加自然。

查看 demo页面来浏览更多示例。

微信关注我们

原文链接：https://www.oschina.net/p/vall-e-x

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 安卓动态链接库文件体积优化探索实践

背景介绍应用安装包的体积影响着用户下载量、安装时长、用户磁盘占用量等多个方面，据Google Play统计，应用体积每增加6MB，安装的转化率将下降1%。安装包的体积受诸多方面影响，针对dex、资源文件、so文件都有不同的优化策略，在此不做一一展开，本文主要记录了在研发时针对动态链接库的文件体积裁剪优化方案。我开发的链接库使用rust语言开发，通过安卓jni接口实现java层和native层之间的相互调用。为什么使用rust主要有以下几个方面的考虑： 1.稳。安卓的JNI接口调用复杂，又涉及到native层的内存管理，随着代码量的增加，代码的安全稳定性会受到很大的挑战。使用rust开发，开发者几乎不需要考虑GC的问题，只要开发的时候按照规范老老实实写代码并且通过了编译器的检查，基本上就很难把程序写崩，这一点在代码上线后也确实得到了验证。 2.安全。传统使用C、C++开发的代码编译完成以后，如果不加保护，很容易使用反汇编工具破解，市面上比较成熟的工具如IDA、ghidra等都可以将汇编代码还原到高级语言。使用rust编译的产物，内部函数间的调用规约和传统都不一样，目前市面上还没有相...

2024-02-18

288

LangChain 是用于构建 LLM 应用的开源工具，近日其开发商宣布完成了由红杉资本领投的 2500 万美元 A 轮融资，并正式推出首款付费 LLMOps 产品 LangSmith。 https://twitter.com/LangChainAI/status/1758169569364230542 LangSmith 旨在成为一站式 LLM 应用开发平台，让开发者能够加速他们的 LLM 应用开发流程，包含了从开发、测试到部署及监控的整个项目生命周期。 ▲ LangSmith 在 LLM 应用程序生命周期的每个阶段支持的工作流根据介绍，在原型设计阶段，使用 LangSmith 的开发者可以全面掌握 LLM 调用的整个流程，并能实时识别错误源头和性能瓶颈，进行调试和迭代优化。他们还可以与领域专家协作，进一步优化应用表现，并且可以添加人工反馈或通过 AI 辅助进行评估，以确保应用的相关性、准确性、安全性和敏感度等。一旦确定了原型，这个一站式平台可通过托管的 LangServe 帮助用户部署应用，并提供对生产环境中发生情况的全面视图，覆盖从成本和响应时间到异常和错误等各个方面，以便企...

2024-02-18

299

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。