首页 文章 精选 留言 我的

精选列表

搜索[声音复刻],共3427篇文章
优秀的个人博客,低调大师

前Facebook AI翻译主管加盟阿里达摩院,致力图片、视频、声音“秒翻”

日前,前Facebook(脸书)应用机器学习部AI翻译团队主管黄非博士入职阿里巴巴达摩院。 入职后,他将在达摩院机器智能技术实验室,和同事推动AI翻译在新零售、跨境电商、视频等领域的实时翻译应用。 “语言”是跨境交易头号拦路虎。在阿里巴巴国际站,7成买家以英语沟通,还有30%为小语种。而卖家端的调研数据显示,大约96%的卖家对小语种无能为力。 阿里目前需要翻译的商品总量超过4亿。 5月18日,阿里巴巴在跨境电商中正式上线对话实时翻译功能,破解买卖家语言不通难题。据悉,这是全球首个电商领域的实时翻译AI(人工智能)产品。 目前,阿里AI实时翻译日均翻译次数达7.5亿,每年翻译次数超3000亿。公开资料显示,这是全球电商领域AI翻译之最。伴随电商全球化的步伐,阿里AI翻译发展壮大,其AI实时翻译工具目前提供21种热门语言,包括43个语言方向翻

优秀的个人博客,低调大师

唇语识别技术的开源教程,听不见声音我也能知道你说什么!

唇语识别并非最近才出现的技术,早在 2003 年,Intel 就开发了唇语识别软件 Audio Visual Speech Recognition(AVSR),开发者得以能够研发可以进行唇语识别的计算机;2016 年 Google DeepMind 的唇语识别技术就已经可以支持 17500 个词,新闻测试集识别准确率达到了 50% 以上。 大家一定很好奇唇语识别系统要怎么实现。Amirsina Torfi 等人实现了使用 3D 卷积神经网络的交叉视听识别技术进行唇语识别,并将代码托管到 GitHub 上开源: 传送门: https://github.com/astorfi/lip-reading-deeplearning 接下来就为大家介绍如何使用 3D 卷积神经网络的交叉视听识别技术进行唇语识别,完整的论文可参阅: https://ieeexplore.ieee.org/document/8063416 下面是进行唇语识别的简单实现方法。 用户需要按照格式准备输入数据。该项目使用耦合 3D 卷积神经网络实现了视听匹配(audio-visual matching)。唇语识别就是这个项目的具体应用之一。 概况 当音频损坏时,视听语音识别(Audio-visual recognition,AVR)被认为是完成语音识别任务的另一种解决方案,同时,它也是一种在多人场景中用于验证讲话人的视觉识别方法。AVR 系统的方法是利用从某种模态中提取的信息,通过填补缺失的信息来提高另一种模态的识别能力。 问题与方法 这项工作的关键问题是找出音频和视频流之间的对应关系。我们提出了一种耦合 3D 卷积神经网络架构,该架构可以将两种模式映射到一个表示空间中,并使用学到的多模态特征来判断视听流间的对应关系。 如何利用 3D 卷积神经网络 我们提出的该架构将结合时态信息和空间信息,来有效地发现不同模态的时态信息之间的相关性。我们的方法使用相对较小的网络架构和更小的数据集,并在性能上优于现有的视听匹配方法,而现有方法主要使用 CNN 来表示特征。我们还证明了有效的对选择(pair selection)方法可以显著提高性能。 代码实现 输入管道须由用户提供。其余部分的实现包含基于话语的特征提取的数据集。 唇语识别 就唇语识别来讲,必须将视频作为输入。首先,使用 cd 命令进入相应的目录: 运行专用的 python file 如下: 运行上述脚本,通过保存每个帧的嘴部区域来提取唇部动作,并在画框圈出嘴部区域来创建新的视频,以便进行更好的可视化。 所需的 arguments 由以下 Python 脚本定义, VisualizeLip.py 文件中已定义该脚本: 一些已定义的参数有其默认值,它们并不需要进一步的操作。 处理 视觉部分,视频通过后期处理,使其帧率相等,均为 30f/s。然后,使用 dlib 库跟踪视频中的人脸和提取嘴部区域。最后,所有嘴部区域都调整为相同的大小,并拼接起来形成输入特征数据集。数据集并不包含任何音频文件。使用 FFmpeg 框架从视频中提取音频文件。数据处理管道如下图所示: 输入管道 我们所提出的架构使用两个不相同的卷积网络(ConvNet),输入是一对语音和视频流。网络输入是一对特征,表示从 0.3 秒的视频中提取的唇部动作和语音特征。主要任务是确定音频流是否与唇部运动视频在所需的流持续时间内相对应。在接下来的两个小节中,我们将分别讲解语音和视觉流的输入。 语音网络(Speech Net) 在时间轴上,时间特征是非重叠的 20ms 窗口,用来生成局部的频谱特征。语音特征输入以图像数据立方体的形式表示,对应于频谱图,以及 MFEC 特征的一阶导数和二阶导数。这三个通道对应于图像深度。从一个 0.3 秒的视频剪辑中,可以导出 15 个时态特征集(每个都形成 40 个 MFEC 特征),这些特征集形成了语音特征立方体。一个音频流的输入特征维数为 15x40x3。如下图所示: 语音特征使用 SpeechPy 包进行提取。 要了解输入管道是如何工作的,请参阅: code/speech_input/input_feature.py 视觉网络(Visual Net) 在这项工作中使用的每个视频剪辑的帧率是 30 f/s。因此,9 个连续的图像帧形成 0.3 秒的视频流。网络的视频流的输入是大小为 9x60x100 的立方体,其中 9 是表示时态信息的帧数。每个通道是嘴部区域的 60x100 灰度图像。 架构 该架构是一个耦合 3D 卷积神经网络,其中必须训练具有不同权重的两个网络。在视觉网络中,唇部运动的空间信息和时态信息相结合,以此来利用时间相关性。在音频网络中,提取的能量特征作为空间维度,堆叠的音频帧构成了时间维度。在我们提出的 3D 卷积神经网络架构中,卷积运算是在连续的时间帧上对两个视听流执行的。 训练 / 评估 首先,克隆存储库。然后,用 cd 命令进入专用目录: 最后,必须执行 train.py 文件: 对于评估阶段,必须执行类似脚本: 运行结果 下面的结果表明了该方法对收敛准确度和收敛速度的影响。 最好的结果,也就是最右边的结果,属于我们提出的方法。 所提出的在线对选择方法的效果如上图所示。 分析到这,希望大家可以到 Github 上找到源码,开始练起!附上作者给的代码演示。 原文发布时间为:2018-11-6 本文作者:Amirsina Torfi等 本文来自云栖社区合作伙伴“磐创AI”,了解相关信息可以关注“磐创AI”。

优秀的个人博客,低调大师

SwanTale:字节把声音克隆和「自然语言导演」塞进了同一个模型

💡 一句话带走:字节 2026 年 8 月的技术报告 SwanTale 用一套统一框架(SwanVAE 连续 latent + Flow-matching Transformer + Unified MoE + GRPO 后训练)同时做好了两件原本要分开做的事——用自然语言 caption 当「导演」指挥生成(instruct TTS)和用参考音频克隆音色(zero-shot TTS),还能在一条波形里塞下多说话人对话、环境音和音效;做语音生成 / AIGC 内容工具的人值得看它的 MoE 双路由和 GRPO 多奖励范式,但记住这是闭源技术报告、分数要打折。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册