腾讯多媒体实验室开源视频质量评估算法 DVQA
近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法 DVQA 正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。
视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。
在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。
多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA 能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。
DVQA 包含多个质量评估算法模型,本次开源的是针对 PGC 视频的算法 C3DVQA。本项目使用 Python 开发,深度学习模块使用 PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。
在算法设计上,C3DVQA 所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。
网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。
在评测结果上,腾讯多媒体实验室在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。将所提出的 C3DVQA 与常用的全参考质量评估算法进行对比,包括 PSNR,MOVIE,ST-MAD,VMAF 和 DeepVQA,结果如下表所示。
▲LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较
目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合 ITU/3GPP/AVS 等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
SAPI++ v1.5 版发布,微信系应用开发框架
SAPI++框架是一款免费开源的支持微信公众号、微信支付、微信小游戏、微信小程序、企业号/企业微信、企业微信开放平台的SaaS服务管理系统,基于(PHP7.2+MySql)开发,应用统一的微信接口调用入口、框架帮你完成所有的微信API认证服务,只需关注自己的应用。 V1.5版本更新: 1、增加应用调用第三方服务的充值扣费账单详情 2、增加体验帐号的控制 3、增加客户端调用的签名认证安全性 4、增加微信开放平台扫码一键授权功能 5、增加应用的一键安装功能 7、增加公众号菜单、素材推送和小程序订阅号功能 8、修复公众号独立授权回调错误 码云下载:https://gitee.com/goodline/sapixx 开源两个小程序前端、后端源码,已整合到应用目录。
- 下一篇
【云栖号案例 | 游戏&娱乐】优酷CDN带宽资源上云案例
云栖号案例库:【点击查看更多上云案例】不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 优酷由古永锵在2006年6月21日创立。2006年12月21日正式上线。优酷现为阿里巴巴文化娱乐集团大优酷事业群下的视频平台。目前,优酷、土豆两大视频平台覆盖5.8亿多屏终端、日播放量11.8亿,支持PC、电视、移动三大终端,兼具版权、合制、自制、自频道、直播、VR等多种内容形态。业务覆盖会员、游戏、支付、智能硬件和艺人经纪,从内容生产宣发、营销、衍生商业到粉丝经济,贯通文化娱乐全链路。 选择阿里云 随着优酷业务的发展,优酷的日活增速也非常明显,IT系统资源面临越来越大的挑战,重大活动期间需要有充足的设备资源及CDN带宽资源储备。尤其是热门视频资源上线或者重大活动直播期间,如何确保充足的弹性资源满足系统快速扩容,并且有足够大的CDN带宽支持是优酷面临必须要解决的问题。 获得的成效 优酷成为阿里巴巴文娱事业群后,基于阿里云强大的产品能力和服务能力,选择将业务部署在阿里云。阿里云有完整的高性能高可用性的解决方案保障,确保资源弹性的前提下提升运维效率,降低IT...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS关闭SELinux安全模块
- 2048小游戏-低调大师作品
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Linux系统CentOS6、CentOS7手动修改IP地址