PaddleHub新增100+优质模型,少量代码快速搭建AI魔镜带你对话未来!
你是否也曾经幻想能和未来的自己对话,问问未来的自己过的怎么样,当初的梦想都实现了吗?现在PaddleHub可以帮你轻松实现,先快速看下效果。
这个项目中用到了PaddleHub中的最新模型,分别用到了语音识别、图像生成、对话系统、声音克隆、唇纹生成等能力,通过短短十几行代码实现了和未来的自己进行对话。
那么这么厉害的项目是如何实现的呢?我们先来看下技术拆解。
首先我们要模拟未来自己的样貌,也就是生成人脸变老的图像。我们选择了一个能够获得变老效果的模型styleganv2_editing,这个模型是PaddleGAN贡献的一个高质量人脸生成的模型,可以对年龄、性别、眼距等等十几种人脸属性进行编辑,能力十分强大。
第二步,我们要实现人机对话,需要先将一段音频识别成文字,再根据识别出的文字,生成回应的内容。于是我们在PaddleHub的模型库中选择了来源于PaddleSpeech的效果较好的中文语音识别模型u2_conformer_wenetspeech和来源于PaddleNLP的百度自研的基于十亿级别的中文对话数据plato-mini。
接下来,我们要把回应的内容变成拥有自己音色的语音。这就要用到来源于PaddleSpeech的最新的声音克隆模型ge2e_fastspeech2_pwgan了,我们输入对未来的寄语的音频和刚刚生成的对话文本,即可得到克隆出来的音频。到这步我们就已经实现跟自己对话了。
最后我们需要将语音和图像结合起来,让变老的我们开口说话。这步我们用到来源于PaddleGAN的wav2lip模型,经过以下两行代码,载入模型和模型预测,即可把我们未来的样貌和对话的语音,合成一个能对的上口型的视频了。
完整项目地址:
https://aistudio.baidu.com/aistudio/projectdetail/3216625
PaddleHub是飞桨官方推出的预训练模型应用工具。入门简单,代码简洁,模型丰富,会python就能用,十行代码搞定预测,场景模型丰富实用。不论是入门,还是想玩出各种花样的应用项目,PaddleHub都非常合适。
近期,PaddleHub新增了100多个新模型,支持声音克隆、声音分类和检测、语音合成(TTS)、语音识别(ASR)、机器翻译、同声传译、视频多目标追踪、唇纹生成等等任务,让我们一起来看看PaddleHub的效果如何。
图像领域:212个模型。包括图像分类、人脸检测、口罩检测、车辆检测、关键点检测、人像分割、语言文本识别、图像超分/上色/动漫化等任务模型,实现效果见下图。
文本领域:130个模型。包括中文分词、词性标注、句法分析、AI写诗/对联/情话/藏头诗、情感分析、文本审核、机器翻译、同声传译等,实现效果见下图。
目前,PaddleHub中的模型已经覆盖5大领域、包含数十种任务、囊括360+模型,都是精选效果好又实用的模型,而且所有模型,都可以在10行代码以内完成预测。
360+模型,丰富实用
新增模型库索引页,360+模型全景概览,分类清晰明了,让你能够迅速找到心仪模型。
十行以内一键预测
文档中的预测代码和API信息整洁清晰,复制即用。
一行代码实现服务化部署
部署指令简单,教程详细,轻松部署。
怎么样,有没有心动?
PaddleHub目前累计star数量已超过7.2K,频频登上Github Trending日榜月榜,used by 570+,还有不少小伙伴频频贡献,也是深受开发者喜爱
画重点:入门快,代码少,模型多,超实用
同时也项目目前有很多外部开发者参与建设,也欢迎大家一起参与和贡献
如果觉得效果不错,也欢迎给项目点点star加个关注。
https://github.com/PaddlePaddle/PaddleHub
另外,repo中也贴心的给出了官方微信群,有问题可以添加“飞桨小助手”回复“hub”获得进群链接,技术讨论与答疑更高效。同时,对PaddleHub感兴趣也希望做出更多有趣事情的同学也可以回复“sig”加入PPSIG Addons-Hub小组。
PaddleHub地址:
GitHub:
https://github.com/PaddlePaddle/PaddleHub
Gitee:
https://gitee.com/paddlepaddle/PaddleHub
官网地址:
https://www.paddlepaddle.org.cn/hub
关注公众号,获取更多技术内容~
本文同步分享在 博客“飞桨PaddlePaddle”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
无网低算力也能开发AI模型?飞桨EasyDL桌面版开创本地AI应用新体验
智能时代来临,企业利用人工智能进行智能化升级势在必行。但由于业务性质等客观因素,不少企业在应用AI时,受场景网络环境、本地算力限制等,迫切需要满足本地实现高效AI开发和部署的解决方案。这也将成为企业快速落地AI的突破口,因此备受行业关注。 日前,在WAVE SUMMIT+2021深度学习开发者峰会上,百度飞桨EasyDL桌面版全新发布,应需而生。 飞桨EasyDL桌面版广泛兼容Windows、macOS、Linux操作系统,1分钟极速一键安装,并且能够在离线情况下提供一站式数据处理、模型训练与部署,快至15分钟完成一个AI模型开发全流程。 开发者通过EasyDL桌面版可以在自己的电脑上轻松创建AI模型,无需上传数据即可完成训练,支持本地导入导出、高效管理模式,无网环境下进行模型生产。 飞桨EasyDL桌面版的高效易用,源于飞桨产业级深度学习开源开放平台底层技术的领先和产业实践应用积累。飞桨作为我国最早自主研发、功能丰富的产业级深度学习平台,堪比智能时代的“操作系统”,具备开发便捷的深度学习框架、超大规模深度学习模型训练技术、多端多平台部署的高性能推理引擎、产业级开源模型库四大领先技术。...
- 下一篇
树莓派4B基于docker搭建devops平台
背景 在树莓派PI4B上用开源软件容器化部署一套devops平台,可以用来正常做代码管理、仓库管理、项目管理和CICD等开发、运维等研发活动。 准备 硬件:Raspberry Pi 4B(8g版本) OS:centos7.9 基础环境:19.03.8 IP:10.0.1.155 架构 工具链 用途 端口 MYSQL 服务于禅道 3306 禅道 项目管理 8085 gogs 代码管理 3000,100022 nexus maven、npm、docker私服 8081,8082,8083 jenkins 持续集成、持续部署 8080:5000 部署MYSQL 镜像 biarms/mysql:5.7.30-linux-arm64v8:支持arm64v8,树莓派可用 规划 配置目录:无 配置文件:/opt/server/mysql/my.cnf 数据目录:/opt/server/mysql/data/ 日志目录:/opt/server/mysql/data/ 开放端口:3306 配置文件 mkdir -p /opt/server/mysql vi /opt/server/mysql/my.cn...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 2048小游戏-低调大师作品
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长