电信运营商有望成为大数据领航者

　　大数据给我们的第一个感觉就是大，那么大数据到底有多大呢?一组名为“互联网上的一天”的数据可以给我们一些参考。

　　一天之中，互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封(相当于美国两年的纸质信件数量);发出的博客帖达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……并且这些数字还在不断上涨。

　　截至2012年，数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB (1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

　　那么大数据只意味着大么?不，它更意味着，水面下的冰山即将露出水面。目前数据中蕴藏的价值金山已受到广泛关注。2012年3月美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将发展大数据上升为国家意志，对未来的科技与经济发展必将带来深远影响。

　　那么究竟何为大数据呢?广义上讲，大数据是指那些超过传统数据库系统处理能力的海量数据，它的数据规模和传输速度要求很高，或者其结构不适合原本的数据库系统。确切的讲，大数据具备四大特征，即数据量大(Volume)、数据种类多样(Variety)、实时性强(Velocity)以及其蕴藏的商业价值大(Value)。

　　既然大数据有着如此大的价值诱惑，那么他能够使得众多“英雄”竞折腰也不足为奇了。目前开展大数据价值挖掘技术的“英雄”包括电信运营商、互联网厂商、金融企业等等。在众多英雄中，因为互联网厂商的大投入，使得他们在大数据领域已经占据了较为领先的位置。但是，运营商因为拥有电信网络中最全和最完整的数据，而一跃成为开展大数据跨行业应用最有力的竞争者。今后，随着运营商的持续大力投入，他必将成为这个领域的领航者。

　　运营商网络中的数据大致有如下一些类型：各类终端的型号数据、用户位置数据、互联网业务数据、用户基本属性数据和用户消费数据。

　　中兴通讯认为，大数据将成为各行业，尤其是电信行业的战略发展方向。

　　对电信行业，当前同质化竞争严重，有强烈愿望寻找经营蓝海。由于网络管道化促使企业升级和转型其盈利模式，通过本身拥有的海量核心资源——网络数据，进行分析利用，从而提高运营水平、找到创新点，是运营商的出路之一。

　　对政企行业而言，随着日益社会化的信息交互，企业用户有更多的选择余地，留住用户变得更困难。企业需要通过经营数据深入研究消费群体，持续改善产品和服务体验，才能生存发展。而信息化水平的提高，也使得产品、服务更快地被竞争对手模仿学习。总体上，信息化推动了市场竞争，企业必须通过有效利用数据的潜在价值，才能生存和持续发展。

　　作为资深的电信领域方案和产品提供商，中兴通讯认为，电信行业发展大数据的立足点在于最有价值的位置、语音、网络流量、视频大数据的处理、分析和挖掘，在四个层次上支撑企业更高水平的运营和创新。一是大数据的收集预处理(ETL、云存储);二是数据信息化(统计、检索、查询);三是深度分析挖掘(用户分群、行为分析);四是预测(产品、资费、用户的趋势)。

　　在政企领域，基于运营数据(大企业呼叫中心数据、零售业店铺信息、交通路况信息、政府部门数据等)自身的收集处理、分析挖掘，并可以结合电信行业数据(手机用户位置等)，能够通过对大数据的分析利用，直接支撑和推动政企运营水平的提高。

　　创新技术是大数据发展的基石

　　要想实现对大数据的价值挖掘，大数据技术无疑是基石及助推器。而在大数据技术发展的整个过程中，分布式计算的精髓被体现得淋漓尽致，其中Apache的Hadoop分布式开源架构是大数据的助推器，为包括IBM、阿里巴巴及中兴通讯在内的众多大数据公司所采用.

　　大数据挖掘的逻辑流程如图所示。在不同的应用过程和领域依托于不同的技术。

　　中兴通讯大数据价值挖掘技术逻辑图

　　中兴通讯的数据挖掘技术可以分为三个阶段、八个环节。其中从数据采集和存储以及检索汇聚是数据的预处理阶段;数据处理、分析、挖掘和模型预测为数据挖掘阶段;最后为结果输出阶段。

　　在数据预处理阶段，中兴通讯使用ETL工具，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

　　数据挖掘阶段为整个过程最为关键的阶段，中兴通讯采用CEP(复杂数据处理)和MapReduce等技术，其中CEP将数据流抽象为事件序列，使上层应用能够实时掌握运行状况并采取行动。

　　最后是输出呈现阶段，目的是是更加智能、简便及顺畅的呈现数据挖掘的各种成果。中兴通讯采用的技术有云计算、标签云、关系图等。

　　整个过程中，大数据涉及到的技术繁多，同时也日新月异，技术总在不断地演进。中兴通讯作为通信行业中的标兵，一直致力于大数据技术的研发工作，为大数据整体技术的演进起到了推动作用。在大数据的的演进中，中兴通讯认为以下趋势会日趋明显：

　　在数据存储和管理上，高效存储成为存储技术主要的研究方向，关系数据库和分布式数据管理方式逐步走向融合。

　　大规模数据处理分析需求的多样性，导致离线批处理、实时流处理、分布式内存计算、图计算框架等多种计算框架并存。需要灵活采用混搭架构满足应用需求。同时，多模式计算框架走向融合。

　　对自然语言理解的需求推动语义WEB技术发展，跨媒体的数据融合业务推动多维多模态信息融合与处理，大数据可视化成为快速理解大数据的最佳途径。

　　电信智能数据应用沿“MSS至BSS至OSS至电信网元”路径发展深入，应用场景大大丰富，同时不同领域的数据存在交叉融合。

　　大数据平台技术更能直观地体现大数据挖掘技术的组成。大数据平台是介于数据整合和应用之间的，具备数据预处理、处理、分析挖掘以及对外接口共享等功能。其中数据处理包括了实时流处理(CEP技术)和离线批处理(包含了Hadoop的文件系统HDFS和数据处理MapReduce等关键技术)。在数据挖掘中，中兴通讯针对各种应用开发出了不同的组件，包括人流分析组件、用户行为分析组件等。这些组件的开发，充分体现了中兴通讯致力于大数据的实际应用开发的智慧和能力。

　　Hadoop MapReduce是离线批处理中的主流技术，Hadoop发展过程中一个重大的变化就是引入了YARN，将MapRedcue中的资源管理调度剥离出来，为多计算架构融合打下基础。Hadoop的开源促进了大计算技术快速的应用，但是开源系统的不完善也是实际使用过程中需要解决的问题。中兴通讯在高可用性、性能优化、管理优化等方面做了大量的工作。

　　实时流处理CEP采用事件触发机制，对于输入的事件在内存中及时处理。CEP支持规则以满足灵活的事件处理要求。CEP采用分布式内存数据库、消息总线等机制来实现快速实时响应。

　　大数据应用正逐渐丰富成熟

　　大数据业务应用呈个性化、社交化、智能化的趋势，人机交互的需求推动智能问答发展和应用。

　　大数据的应用已广泛深入我们生活的方方面面，涵盖通信、医疗、能源、经济、交通、零售业等各种行业：

　　Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户，该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

　　维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

　　NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

　　零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

　　而对于我们特别关注的通信市场来说，运营商在大数据上的应用主要体现在如下四个层面。

　　在市场层面，运营商可以利用大数据为自身的产品服务，通过大数据分析用户行为，改进产品设计，并通过用户偏好分析，及时、准确地进行业务推荐，强化客户关怀，这样就可以不断改善用户体验，增加用户的信息消费以及对运营商的黏度;

　　在网络层面，可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率;

　　在企业经营层面，可以通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司的经营管理和市场竞争策略;

　　在业务创新层面，可以在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，为企业创造新的价值。这样，大数据将助运营商实现从网络服务提供商，向信息服务提供商的转变。

　　总之，运营商正在寻求对自有数据最大化的价值变现，提高运维效率，降低运维成本，提升用户关怀质量;提升运营能力，开拓业务市场，加速ICT融合。

　　作为大数据技术的引领者，中兴通讯主要基于运营商数据和行业数据，在大数据的应用开发上横跨了电信、金融、交通、互联网等行业，开发出了一整套业界领先的大数据应用。

　　以商铺选址为例，融合用户位置数据和用户画像的商铺选址，克服了传统人工选址的局限，帮助商业用户以低成本快速、精准选址，实现运营商增值业务和商业客户的深度捆绑，提升价值客户黏性。

　　又如将大数据应用于客流分析，实时采集用户位置信令数据，动态呈现区域客流密度和人群流动轨迹、发现和预测人群活动规律，满足市政部门道路交通规划和应急安全管控等需求。

　　还有智能运营应用，基于大数据的新型网规网优解决方案以精细化运营为导向，以客户体验提升为目标，以网规网优性能指标量化、科学评估预测和精准资源投放为抓手，通过引入新型的数据源和采用基于大数据的海量数据处理方式，为网络建设规划和优化提供有力的支撑和保障。

作者:李明庆 田荣阳

来源：IT168

原文链接：大数据：电信行业的战略方向