腾讯音视频实验室:使用AI黑科技实现超低码率的高清实时视频聊天
1、前言 自从苹果公司在iPhone 4引入了视网膜屏幕的概念以来,手机的分辨率自此开始突飞猛进。当前,1920x1080甚至更高的分辨率已经成为了标配。不过当我们谈到实时音视频聊天的时候,无奈受制于上行带宽,有相当一部分用户还是只能发送码率在250kbps以下的小分辨率视频码流,这就白白浪费了用户的高清手机屏幕。 要怎么样才能不增加上行码率的情况下,让用户在接收端可以看到更高清的实时视频呢? 超分辨率(Super-Resolution)是近几年迅速发展起来的一项图像放大技术,即通过硬件或软件方法提高原有图像的分辨率,通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。那是否可将超分辨率技术用在实时视频,在低码率甚至超低码率可以看到提升一档分辨率的实时视频? 传统的超分辨率是基于图像的纹理判断纹理的方向,并在此基础上做增强。而近一年,利用机器学习来做超分辨率越来越成为一种趋势。基于机器学习的神经网络结构,可以更好地学习低分辨率和高分辨率图像之间残差的特征,并且修复失真,还原到更高一档的分辨率。基于机器学习的超分辨率技术,像SRCNN、SRResNet、VDSR等...

