如何用大数据给用户“画像”

对于移动运营商来说，经过多年的IT系统建设，大量的网络数据被积累下来。但是现有的IT系统和数据对于支撑网络运营工作还存在一些障碍，主要表现在：面对多样化需求，重复从底层进行大数据处理，处理环节多、难度大；留存数据主要以网络设备为中心进行存储和组织，无法反映用户真正的感知情况，无法支撑以用户为中心的网络运维；现有数据可视性和可用性较差，不能提供多样的数据开放手段，支撑一线业务人员的数据使用要求。这些障碍也是国内运营商网络部等业务部门普遍面对的问题。

为解决上述问题，同时响应中国移动集团全面转型到“以用户为中心”的战略要求，山东移动网络部与IBM全面合作，通过对既有系统所产生数据的详细研究，以创新思维设计了区别于传统3层系统应用架构的基于用户网络画像的大数据开放引擎，并基于此大数据开发引擎利用多种大数据开发手段设计多种数据处理算法，以用户为中心对海量复杂的基础网络数据进行多层次的处理，使得网络数据能够围绕用户进行全方位的使用，有效支撑网络部支撑工作向以用户体验为中心的工作流程的变革，同时有效降低了大数据使用的门槛，实现了加工后数据资产的有效利用，支撑应用系统能够快速利用数据上线满足一线业务的需求，实现了大数据的可视、可用、易用，为网络规划、网络优化、用户体验管理、业务营销等提供了有力支撑，实现了网络部对于省公司业务精细化运营的有力支撑。

山东移动基于用户网络画像的大数据开放引擎总体架构主要包括采集层、共享层、大数据开放引擎层、业务应用层4个逻辑层。采集层的主要功能是基于FTP批处理或者异步同步模式实现4G/VoLTE软采与硬采信令、家客信令等多个系统的海量数据的采集和预处理工作；共享层基于流计算和Spark等技术，对海量网络数据进行二次加工处理以保留有效数据，控制数据规模；大数据开放引擎层以HADOOP和关系型数据库作为存储数据的平台，同时结合网络业务支撑需求，基于IBM SPSS平台设计实现多种大数据挖掘算法对数据深度加工处理，形成“三阶”用户网络画像，并通过各种形式的API接口（SQL/REST API）为应用开发和数据探索提供开放的数据服务；业务应用层则再次基于业务需求，借助SPSS对生成的“三阶”用户网络画像进行业务对标处理，同时基于IBM COGNOS和其他JAVA平台实现多种业务应用。

基于用户网络画像的大数据开放引擎方案的创新特色主要包括以下几个方面：

——“三道工序”构建“三阶”用户网络画像。方案从网络感知、位置等六个维度通过“粗加工”“细加工”和“精研磨”三道工序生成一阶、二阶和三阶标签，三类标签共同构建了“三阶”用户网络画像，从而建立了跨部门、跨专业都可理解的统一的数据语言。

——“API 数据可视化”实现能力开放。三阶用户画像标签以API方式实现数据共享，并对实现此标签的常用算法进行封装供上层应用调用。业务人员可通过API或者数据可视化工具重复使用加工后的数据，对不同标签组合以对标业务实现灵活建模，从而快速支撑个性化应用的实现。

——实现自主研发流程的可视化。通过统一的、易理解的可视化视图呈现“三阶”用户网络画像，业务人员可结合自身需求，灵活组合各种标签，借助SPSS流程化建模工具自主建模，实现应用快速落地，极大地激发了一线业务人员的创新热情。

——多层次数据组织和多形式的数据处理。运用多层次数据组织方式，按照数据用途、数据细分粒度、时间周期等维度对数据进行分层归类处理，定义出元数据域、数据探索域、聚合整合域、深度处理域、落地域和共享域六层逻辑架构，降低了数据处理复杂度，并提供易于数据使用的多形态接口，方便业务人员使用多种工具进行复杂数据挖掘，进而提升大数据处理效率。

山东移动网络部通过基于用户网络画像的大数据开放引擎的方案设计和落地实现，在短时间内已自主开发了4G流量驻留比提升、深度覆盖不足定位、投诉溯源、投诉预测、区域画像等10余种应用，同时从网络感知、位置、业务特征等六个维度，生成106个统一的、易理解的标签，实现了对用户进行全方位网络画像，有效支撑了山东移动网络部转型到“以用户为中心进行运营支撑”工作模式的变革。
本文转自d1net（转载）