会议多到爆炸,AI 克隆一个自己来 Zoom 开会?
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
过去一段时间,由于全球大部分公司开启远程办公,Zoom 这类工具的使用人数疯狂上升,从视频会议到朋友聚会都可以通过 Zoom 来实现,这也让一些人感到非常有压力。于是,国外的一些技术专家脑洞大开,通过 AI 技术想方设法的让自己从 Zoom 中逃离出来。
Zoombot:克隆一个自己去开会
近日,国外一位名叫 Matt Reed 的技术专家由于无法忍受开不完的 Zoom 会议,就建立了一个 AI 驱动的克隆项目 Zoombot,可以克隆一个自己去开会。Zoombot 使用 AI 语音识别和文本转语音工具,可以在会议中对其他人的问题做出响应。Reed 并没有事先告知他的同事,以下截图看起来效果还不错。
整个方案并不复杂,据 Reed 介绍,他先截了一些自己通过 Zoom 开会的图片,然后基于 Artyom.js 开源库(进行侦听和响应)构建了一个简单的 Web 应用程序,对其进行编程以便可以听懂一些简单的对话,比如“你好吗?”、“你明白了吗”、“再见”等。理想情况下,Zoombot 可以处理从“Hello”到“Bye”的整个会议过程,而不会引起任何人注意,但现阶段的项目更多是出于兴趣建立的,不是很完善,所以,Reed 也把项目放到 GitHub 上面了,供开发者尝试。
GitHub 地址: https://github.com/mcreed/zoombot
Reed 认为比较好的部分是不必给它一个像“Hey,Siri”这样的唤醒词,就可以开始使用。只要外界有语音触发就可以响应,配合脸部的运动给出答复。
Zoombot 项目一共花费了大约四个小时来构建,而 Reed 又花了大约四个小时来组织 Zoom 会议并记录同事们的真实反应。Reed 调侃道:“诀窍是在聊完之前就离开会议室,因为一旦进入“我听不到你的声音,可以重复一遍吗?”的死循环中就麻烦了。
Zoom 虚拟化身项目关键:一阶运动模型
如果说上面这个项目以有趣为主,接下来介绍的这个开源项目则更加接近实用,并且其所依据的理论早在一年前便有人提出。
avatarify 项目也是一位国外开发者发布在 GitHub 上的开源项目,可以为 Zoom、Skype 这类视频通话应用添加自己的替身,项目中使用的核心模型 first order model 来源于一篇 NIPS 论文《First Order Motion Model for Image Animation》。
一阶运动模型的好处是一旦经过一组描述相同类别对象的视频训练(例如人脸、人体),这种方法就可以应用于此类的任何对象。模型采用自监督的方法将外观和运动信息分离,主要由两个主要模块组成:运动估计模块和图像生成模块。
模型动画示例
如上图所示,最左边的大图像是驱动视频,右侧第一排小图像是源视频,下面一排是驱动视频。
在安装和配置完成,如果想获得一些裁剪意见,可以使用 python crop-video.py --inp some_youtube_video.mp4,它将使用 ffmpeg 生成一些命令,需要 face-alligment 库:
git clone https://github.com/1adrianb/face-alignment cd face-alignment pip install -r requirements.txt python setup.py install
其他内容可访问 GitHub 地址:
https://github.com/AliaksandrSiarohin/first-order-model
avatarify 项目地址:
https://github.com/alievk/avatarify
在 GitHub 上,作者给出了具体的安装方法,添加完成后在 Zoom 中选择设置摄像头使用 avatarify,就可以将生成的图像通过 OpenCV 实时推送到视频流了。
需要注意的地方是尽量使用头像缩放功能在预览窗口中将您的面部与目标化身的比例和位置尽可能地对齐。对齐后,单击“ X”以使用此帧作为参考来驱动其余动画。
另外,也可以在软件上按“ F”以尝试自己找到一个更好的参考系。这会减慢帧速率,但是在发生以下情况时,可以继续移动头部:当预览窗口发现面部姿势与当前使用的头像更接近时,它将闪烁绿色。您还将看到两个数字显示:第一个数字是您当前与化身对齐的紧密程度,第二个数字是参考系对齐的紧密程度。您可以选择一个好的对齐方式。完成后,再次按“ F”退出参考帧搜索模式。整个过程不需要很严格,其他一些配置仍然可以产生很好的结果,但这是一个好的起点。
此外,开发者还演示了通过该项目让马斯克加入视频会议的效果,供大家参考。
可以通过 Reddit 观看此视频:
https://www.reddit.com/r/MediaSynthesis/comments/fxc34i/elon_musk_joined_our_zoom_call_avatarify/
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
多重优势的一对一直播平台开发搭建更具有竞争性
一对一直播平台开发在当下已经成为一种势不可挡的趋势,使得一对一直播平台开发如此受宠的原因很大部分在于墨菲定律,硬件的升级也使得网络带宽和速度大大增强,与此同时,网络的交流成本则在进一步下降。社交性和互动性是必不可少的,一对一直播平台互动性会更强;其次是私密性,一对一直播平台的形式更具私密性,内容只有主播和观众知道,后台起到监管作用,能够带来更加优质的内容;最主要的就是收益,一对多的直播并不是所有的观众都会进行打赏,但是一对一直播形式采用的是计时收费,同样可以打赏主播,有的功能则需要充值VIP才能使用,间接就增加了主播和观众的收益,而一对一直播的带宽、流量费用,相对一对多直播也便宜了很多,所以一对一直播现在能够收到欢迎。一对一直播平台自身还是具有传统式网络直播平台的特性,只不过是它的互动交流仅限于两人中间,没有双回路供电直播体制。像礼品打赏主播、视频弹幕私聊、互动交流连麦这种基本性的网络直播平台作用还是具有的,并且网络主播房间的目录款式、排列标准等全是能够参照传统式一对多直播平台开发的。一对一直播平台没有涉及像传统一对多直播间那般的直播房间分布式系统难题,因而在网络服务器部署层面会产生更...
- 下一篇
阿里面试:说说你项目里使用的 MQ ,分布式系统中 MQ 作用?
开篇思考 MQ 为什么在系统中使用?一定要在分布式系统中使用吗? MQ 有哪些中间件?他们有哪些特点? MQ 给系统带来好处的同时有没有带来什么问题?如何解决? 在阿里的面试中,面试官问到关于 MQ 的几个问题: 你的项目中 MQ 的作用? 为什么选择这款 MQ 作为消息中间件? 重复消费怎么办? 如何确保消息被消费? 有遇到其他问题吗?那么接下来带着问题先思考下,有好的想法可以在评论区留言,大家一起分享。 消息中间件在系统中的使用 我之前写过一篇关于 rocketMQ 实现分布式锁的文章,主要介绍如何使用 RocketMQ 实现分布式锁,《Springcloud + RocketMQ 解决分布式事务》 但是这个功能并不是 MQ 基本功能,也不是所有 MQ 都有的功能。 MQ 在系统中到底有哪些作用呢?抛开基本的消息发布订阅不说,还有以下几点: 分布式系统解耦 不需要立即返回的业务异步处理 削峰填谷,不直接访问服务,缓解服务压力,增加性能 日志记录 分布式系统解耦 在分布式系统中,要么是通过 rest 调用,要么是通过 dubbo 等 RPC 调用,但是有些场景需要解耦设计,不能直接调...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6