专访 | PP云技术副总监:如何使用机器学习算法优化分发链路
转载声明:本文转自公众号【PP视频云】
4月21日PP云作为LiveVideoStack的特别支持单位,将在上海浦东新区陆家嘴软件园苏宁文创园区举办《多媒体开发新趋势》系列沙龙,为大家展现新技术在音视频领域的探索与实践,以及新兴应用场景和传统行业的最新、最佳实践。PP视频云技术副总监曾小伟作为特邀讲师,将为大家带来《如何使用机器学习算法优化分发链路》的演讲。今天先为大家透露一些演讲内容的精彩摘要。
Speaker:
演讲者曾小伟现担任苏宁云商数据云公司PP视频云技术副总监。图像编解码、高性能计算出身;从事过AI(NLP)方向的工作,10年以上流媒体服务服务端开发与架构设计经验,8+年以上团队管理经验。目前负责PP视频云的架构设计与研发工作,承接苏宁集团内部的视频业务,推动视频云平台架构改进,提升服务能力;对外,提供优质的视频SAAS服务。同时是多家科技类网站的执笔观察员,PP视频云长期特邀撰稿人兼执行主编。
Topic:
点播视频(包括短视频)压制完成后,需要经过内部存储和分发才能接入到视频CDN,内部存储分发的功能由点播视频源站来实现。源站内部分发的过程中,视频数据会通过大量的服务器节点,这些节点分布在不同地域、不同运营商的机房、不同的时间,连通性都是不断变化着的。传统的做法是根据运维经验,配置固定的主备线路进行分发,缺点是线路发生拥塞和故障时,分发的质量会受严重影响甚至失败。PP云则引入机器学习算法,实时生成转发链路的方案,选择最优质的网络链路,提高分发速度。本次分享将对优化方案架构、模型、算法设计和实践,以及未来发展做详细介绍。
Abstract
1. 点播视频源站介绍及分发链路优化的意义
PPTV新上线了一个电影,或者一些短视频网站的用户新提交了一个短视频后,这些视频放在哪里呢?对于视频网站(平台)来说,这个存储视频的地方,就叫做源站。点播视频源站的职责,不仅仅是负责有效的存储这些视频文件,同时也要考虑如何高效稳定的让观众看到这些数据。
观众观看这些视频,通常是通过客户端从CDN下载视频数据,CDN的核心节点,会对接视频网站的源站,下载数据(这个过程通常称作回源),之后CDN会分发(并缓存)这些数据到观众。一个视频网站,可能会对接多个CDN,包括自建和商业,每个CDN,在不同的区域和运营商,可能也有不同的接入点。另外,视频源站内部的设计,也是分层级的,通过多级缓存和分发,逐级降低和分散访问压力。
源站内部服务器之间以及源站与CDN接入点的通信和数据传输,一般都是通过网络的,经常会有抖动。动态的选择好的分发链路,将大大提升数据从源站内部分发,以及到CDN的分发速度。
2. 传统的源站内部分发方案的缺点
前面提到,源站内部,其实是可以分层级或者已经分了层级的。在源站的不同层级之间,数据首先会存储在中央层,通过网络向下层分发,分发过程中,下级节点向上级的哪个节点回源,通常是固定的;CDN也是通过固定的接入点,对接源站回源。网络可能会有抖动,在某一时刻,按照固定的链路回源,可能不是最优的链路,甚至在故障期间是不可用的。
3. 通过基于机器学习的分发链路选择处理将带来什么好处
历史上每次回源下载文件,使用的链路,以及最终下载的速度(文件大小、下载时间)等数据是宝贵的资源,通过对这些数据进行机器学习,可对当前时间点、不同链路选择下针对一定大小的文件的传输做出下载速度预估,在这些链路中,选择出一个相对(预估)最优的链路进行分发,将大大提升源站的分发效率。
当然,通过机器学习预估后的结果,产生的下载速度,将作为下一步学习的输入数据,不断调整和学习,做到最优链路的选择。这个思路,不只是可以用在点播源站内部分发的过程中,同时也时可以使用在一些直播回源链路中的,只是学习的模型、参数会有差异。
4. PP云点播视频源站架构简介
PP云点播视频源站,分为三层,中央层为原始的视频文件存储以及HTTP下载缓存服务;转发层部署在全国几个BGP机房中,负责文件的中转以及临时缓存;边缘层对接各个CDN的接入点。
引入智能分发后,转发层和边缘层之间,其实是没有明显界限的,数据的分发选择节点更为自由和智能,CDN接入质量更优秀。
更多精彩分享,我们在上海等你
伴随Codec的百花争艳,WebRTC1.0定版,AI、区块链技术的快速发展,我们看到了多媒体与更多新技术的融合与实践。4月21日,我们邀请到腾讯、优酷、触宝科技、苏宁PP视频云、三体云、相芯科技的6位技术大咖一同分享多媒体开发的技术实践与未来展望。
讲师与话题:
吴威麒 触宝科技音频技术专家 《实时语音通信的音频后处理技术》
曾小伟 PP视频云技术副总监 《如何使用机器学习算法优化分发链路》
沈轲轶 腾讯天天P图iOS开发组长 《iOS实时相机的GPU实践》
崔文秀 三体云产品副总裁 《实时音视频技术赋能传统行业》
蔡锐涛 相芯科技图形引擎负责人 《Animoji动态表情的技术实现》
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
手把手 | Apache MXNet助力数字营销,检测社交网络照片中的商标品牌
数字营销是指在数字平台上推广服务和产品。广告技术(通常简写为“ad tech”)是指供应商、品牌及其代理机构使用数字技术来定位潜在客户,提供个性化信息和产品,并分析线上花费带来的效果。 例如,赞助的故事在Facebook新闻传播里的传播;在Instagram里的故事量;在YouTube的视频内容开始前播放的广告;由Outbrain支持的美国有线电视新闻网文章末尾的建议链接,所有这些都是实际使用广告技术的案例。 在过去的一年里,深度学习在数字营销和广告技术中得到了显著地应用。 在这篇文章中,我们将深入探讨一个流行的应用场景的一部分:挖掘网络名人认可的商品。在此过程中,我们将能了解深度学习架构的相对价值,进行实验,理解数据量大小的影响,以及在缺乏足够数据时如何增强数据等内容。 应用场景概述 在本文中,我们将看到如何建立一个深度学习分类器,该分类
- 下一篇
[52ABP]ABP CORE 框架入门视频教程《电话薄》基于 Asp.NET Core2.0 EF Core
ABP框架简介 ABP是“ASP.NET Boilerplate Project (ASP.NET样板项目)”的简称。 ASP.NET Boilerplate是一个用最佳实践和流行技术开发现代WEB应用程序的新起点,它旨在成为一个通用的WEB应用程序框架和项目模板。 ASP.NET Boilerplate 基于DDD的经典分层架构思想,实现了众多DDD的概念(但没有实现所有DDD的概念)。 缘起 我目前使用ABP框架已经快3个年头了,大大小小的项目也陆陆续续做了十来个。 但是还是很多人会习惯性的问我: 角落,ABP框架怎样? 角落,ABP框架可以用于生产环境吗? ABP可以做高并发、分布式项目吗? ABP谁做过真实的案例啊,有推荐吗? 巴拉巴拉巴拉巴拉。 针对以上的情况,统一回答下:“不是ABP框架行不行,而是你行不行。” ABP框架的最大优势在于可以很好的融合各个业务模式,从小项目到大型项目都可以完美的配合,从简单的Demo到复杂微服务都是可以融合的。它采用的设计模式使他的解耦性比较完美。 所以你可以放心大胆的使用ABP框架在实际的项目中。 正文 我个人未来的项目均会用.NET CO...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- 设置Eclipse缩进为4个空格,增强代码规范
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装