叶炜晨:视频遇上大数据,会擦出什么火花-低调大师

叶炜晨:视频遇上大数据,会擦出什么火花

2017-08-31 593

文章讲的是 叶炜晨:视频遇上大数据,会擦出什么火花，在近期的视频网站大会上，除了“独播”这种老生常谈的话题，大数据名副其实当选为视频网站宣传时最爱的词，爱奇艺也不例外。早在2013年，爱奇艺就着手将大数据“落地”，并研发了一套实时数据采集计算的综合解决方案—Venus。实时数据采集对视频行业到底意味着什么?当视频遇上大数据到底会擦出什么样的火花?这些谜题都会由本期采访嘉宾--叶炜晨，一一揭晓。

▲叶炜晨

　　叶炜晨，毕业于上海交通大学计算机系。2013年加入爱奇艺云平台，14年起开始负责爱奇艺HBase业务，15年起开始负责爱奇艺实时计算相关业务。

　　爱奇艺是如何运用大数据的呢?

　　1.选用合适的数据处理系统

　　叶炜晨表示一些公司的大型数据，如播放记录，搜索爬虫信息，用户信息等等，必须使用大数据相关系统才能存储，比如HBase/HDFS/HIVE等。传统的数据库方案不能很好处理TB以上量级的数据内容。而爱奇艺日均需处理数据量近50TB，传统的数据库方案显然支撑不住，Venus应运而生。Venus平台技术的实现是基于Spark Streaming，Flume，Kafka，Elasticsearch，Hadoop等大数据技术的二次开发应用，不是简单的部署搭配。其次，Spark在爱奇艺的应用比Storm更加广泛，在一部分业务中，Spark方案是作为MapReduce的优化和替代，将业务从MapReduce计算转移成Spark计算，计算速度可以大幅提升。另一个方面，Spark被广泛用于爱奇艺内部商业智能团队的数据挖掘和机器学习等场景下。在实时计算业务中，Spark的实时计算模块Spark Streaming也在日常业务中被广泛应用。相比Storm,Spark Streaming的吞吐量更高，这个是它的核心优势。在爱奇艺，Storm业务主要运行在Mesos集群上，Spark任务主要运行在YARN集群上。

　　2.对用户行为精准画像

　　爱奇艺近年在视频网站中崛起，除了“独播”之外，对用户行为的精准画像功不可没，这与大数据密切相关。叶炜晨说，爱奇艺是一家技术基因浓郁的公司，大数据部门是为公司决策层提供参考信息的核心。公司几乎各个技术部门都会使用大数据技术产品来辅助自己部门的业务。一些典型场景例如：根据用户行为，对用户进行画像，从而实现精准推荐和精准广告投放根据用户行为和百度提供的数据，预测一些版权视频未来会火的可能性，为版权视频采购提供指导性意见;根据用户行为和后台数据记录，实时统计所有业务的运营状态，计算各种业务运营报表，为市场，运营和决策层同学提供决策参考。良好的用户体验为爱奇艺赢得不少口碑。

　　对数据的实时分析处理让爱奇艺可以对用户进行精准画像，从而了解用户的需求，开通个性化电影频道，为用户“私人定制”看片平台。

　　互联网视频行业遇上大数据

　　1、大数据带来了什么?

　　今时今日，大数据已成为现代企业发展的核心资源之一，叶炜晨认为大数据从两个方面为互联网视频行业带来了可观的价值，一个是通过大数据计算的结果，为决策方提供一些辅助信息。在爱奇艺，无论是运营，市场，采购，安全风控，和各个决策部门，都在使用大数据的结果来辅助决策和判断。另一方面是通过大数据的计算，为用户提供更好的体验，如视频推荐，广告精准投放，弹幕互动等等。近年来，爱奇艺也在大数据技术上屡屡创新。更与百度大数据、第三方数据打通，推出爱奇艺大脑，并且利用HCDN等庞大的带宽储备技术，保证用户视频观看的流畅度。

　　2、大数据在互联网视频行业如何应用?

　　大数据在各行业蔓延，各行各业也各有千秋，大数据遇上互联网视频，会擦出什么火花呢?叶炜晨表示，互联网视频行业的大数据分析，较互联网其他行业，有很多独特之处。例如大数据分析中最基础的用户画像(判断一个用户的年龄，性别，职业，收入水平和兴趣爱好)，在电商，O2O等其他互联网企业的大数据部门已经被广泛应用，然而在视频行业，对用户画像的难度远远超过电商。互联网视频行业的一个基本特点是，用户账号并非独立使用，而是普遍存在多人共用账号的情况。一个用户账号可能白天孩子在家用来看喜羊羊，晚上爸爸看二战电影，周末妈妈用来看韩国偶像剧。因此，传统电商或O2O企业使用的用户画像技术，在视频行业未必适用。对互联网视频行业的用户画像分析而言，对用户行为分析的相关算法的研究必须要更加深入，对计算实时性要求也会更高。

　　写在最后

　　在本届数据库技术大会上叶炜晨将带来《爱奇艺实时数据采集计算平台--Venus》，Venus是爱奇艺研发的一套实时数据的采集计算的综合解决方案。该方案专注于为公司各业务提供专业、灵活、可扩展的实时数据接入处理平台，对各类数据实时地进行汇总分析，分析结果可及时的反馈到各业务线(播放系统，搜索，CDN，会员等)，用于故障排查、报警，日志分析，指标统计，智能化运营等场景，上线以来，日均处理数据量近50TB。感兴趣的小伙伴不要错过哦!

　　2016第七届中国数据库技术大会(DTCC)将于2016年5月12日-14日召开，大会云集了国内外顶尖专家，共同探讨智能数据平台、数据治理、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术，为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。欲了解更多有关大会的精彩内容请访问DTCC 2016官网：http://dtcc.it168.com/

作者: zyy

来源：IT168

原文链接:叶炜晨:视频遇上大数据,会擦出什么火花

微信关注我们

原文链接：https://yq.aliyun.com/articles/216523

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何构建企业级Hadoop/Spark分析平台

文章讲的是如何构建企业级Hadoop/Spark分析平台，一说大数据，人们往往想到Hadoop。这固然不错，但随着大数据技术的深入应用，多种类数据应用要求的不断提出，一些Hadoop不甚专注的领域开始被人们注意，相关技术也迅速获得专业技术领域的应用。最近半年来的Spark之热即是这样的一个典型。 Spark是一个基于内存计算的开源集群计算系统，目的是更快速地进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发，早期核心部分的代码只有3万行，非常轻量级。Spark 提供了与Hadoop Map/Reduce 相似的分布式计算框架，但基于内存和迭代优化的设计，因此在交互式数据分析和数据挖掘工作负载中表现更优秀。进入2014年以后，Spark开源生态系统得到了大幅增长，已成为大数据领域最活跃的开源项目之一。Spark之所以吸引如此多的关注，究其原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特征。首先，Spark对分布的数据集进行抽象，创新地提出RDD(Resilient Distributed Dat...

2017-09-01

528

文章讲的是十一项全球最具权威的大数据资质认证，数据科学家、数据分析师、工程师乃至开发人员注意了!只要拥有能够处理大数据相关技术的能力，人才市场就会展现出慷慨的笑容与热情的怀抱。想在下一次求职时更上一层楼?很简单，拿下大数据相关认证，一切将不再只是梦想。数据与大数据分析已经成为企业运营生命中的宝贵血液。正因为如此，具备大数据分析相关经验的数据科学家与分析师以及了解如何打理Hadoop集群与其它技术的工程师与开发人员如今正变得炙手可热。如果大家希望能在职场发展的道路上再登新的顶峰——无论您目前正在求职、谋求晋升或者只是想踏踏实实地磨砺自己的专业水准——考取大数据认证都是一个相当不错的选择。认证资质会根据特定行业及供应商的基准衡量我们的知识储备与技能水平，从而向雇主们证明我们所具备的技能集与个人价值。当下与大数据紧密相关的认证数量正迅速提升，今天文章中提到的这十一项则是其中最值得认真考虑的备选项目。 1. 认证分析专家(Certified Analytics Professional) -- INFORMS 资质描述: 认证分析专家(简称CAP)资质属于严重的通用型分析认证，它考核的是...

2017-09-01

505

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。