用户画像系统的技术架构和整体实现-低调大师

用户画像系统的技术架构和整体实现

2017-07-31 1100

这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现(个人见解)。

数据整理：

1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。还有一种方式，可以通过将数据写入本地文件，然后通过sparksql的load或者hive的export等方式导入 HDFS。

2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据(这里的指标可以理解为为每个用户打上了相应的标签)，生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。

数据平台

1、数据平台应用的分布式文件系统为Hadoop的HDFS，因为Hadoop2.0以后,任何的大数据应用都可以通过 ResoureManager申请资源，注册服务。比如(sparksubmit、hive)等等。而基于内存的计算框架的出现，就并不选用hadoop 的MapReduce了。当然很多离线处理的业务，很多人还是倾向于使用Hadoop,但是hadoop的封装的函数只有map和Reduce太过单一，而不像spark一类的计算框架有更多封装的函数(可参考博客spark专栏)。可以大大提升开发效率。

2、计算的框架选用Spark以及RHadoop,这里Spark的主要用途有两种，一种是对于数据处理与上层应用所指定的规则的数据筛选过滤， (通过Scala编写spark代码提交至sparksubmit)。一种是服务于上层应用的SparkSQL(通过启动spark thriftserver与前台应用进行连接)。 RHadoop的应用主要在于对于标签数据的打分，比如利用协同过滤算法等各种推荐算法对数据进行各方面评分。

3、MongoDB内存数据的应用主要在于对于单个用户的实时的查询，也是通过对spark数据梳理后的标签宽表进行数据格式转换(json格式)导入mongodb,前台应用可通过连接mongodb进行数据转换，从而进行单个标签的展现。(当然也可将数据转换为Redis中的key value形式，导入Redis集群)

4、mysql的作用在于针对上层应用标签规则的存储，以及页面信息的展现。后台的数据宽表是与spark相关联，通过连接mysql随后 cache元数据进行filter,select,map,reduce等对元数据信息的整理,再与真实存在于Hdfs的数据进行处理。

面向应用

从刚才的数据整理、数据平台的计算，都已经将服务于上层应用的标签大宽表生成。(用户所对应的各类标签信息)。那么前台根据业务逻辑，勾选不同的标签进行求和、剔除等操作，比如本月流量大于200M用户(标签)+本月消费超过100元用户(标签)进行和的操作，通过前台代码实现sql的拼接，进行客户数目的探索。这里就是通过jdbc的方式连接spark的thriftserver，通过集群进行HDFS上的大宽表的运算求count。(这里要注意一点，很多sql聚合函数以及多表关联join 相当于hadoop的mapreduce的shuffle,很容易造成内存溢出，相关参数调整可参考本博客spark栏目中的配置信息) 这样便可以定位相应的客户数量，从而进行客户群、标签的分析，产品的策略匹配从而精准营销。

本文作者：杨思义

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/196327

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

5G架构革新明显承载网应全面支撑

5G将成为信息通信领域未来5年被高度关注的热点技术之一，其将聚焦于移动互联网、移动物联网等应用场景，呈现超大容量、超高性能、高可靠性和低成本等特性，同时与人工智能、信息中心网络等协同发展。从目前设定的关键参数来看，针对不同应用场景，5G用户体验的接入峰值速率将达到数十Gbit/s，相比4G提升了百倍及以上的量级，端到端时延要求则达到 ms量级或更低，同步精度需要达到100ns量级。而在组网架构和技术方面，5G需要引入软件定义网络(SDN)、网络功能虚拟化(NFV)、网络切片等新型技术。5G的这些新型特性对于移动前传、移动回传等承载网络提出诸多挑战性需求，也推动面向5G承载的传送网迎来新一轮发展契机。基站功能重新划分，前传呈现组网需求考虑到5G在容量、时延、同步精度等方面的要求相对4G高出很多，原有基于室内基带处理单元(BBU)和远端射频单元(RRU)构建的C-RAN架构及承载技术将面临挑战，5G无线接入网的网元功能将重新分割并力求实现按需灵活设置。目前3GPP按照逻辑功能将5G基站划分为中心单元(CU)和分布单元(DU)，并根据应用需求在CU和DU之间还可嵌套分割出中间的CU或D...

2017-08-01

534

近几年在网络领域最受关注的创新，非软件定义网络SDN莫属，其颠覆了传统网络的基础架构，真正提升了网络的灵活性和运营效率，并且实现了上层应用对于底层网络资源的直接调用，从而加速了服务提供商、企业的业务创新速度。因此整个业界都非常看好SDN的发展前景。 SDN正在落地 IDC的最新预测报告显示，全球云服务提供商和企业在SDN方面的支出将会在2018年增长到80亿美金(当前仅为9.6亿美元)，这背后的推动力是企业和服务提供商希望减少CAPEX和OPEX，同时构建更加灵活的IT基础架构。进入2015年，SDN的相关解决方案已经日趋成熟，不少企业和服务提供商都在准备实施SDN。为此，国外媒体Telecoms.com特别邀请了Ciena公司的CTO Joe Marsella，来谈一谈在部署SDN前需要考虑的事情。 1、聚焦客户的需求、业务目标和用例，确定SDN等创新确实可以给自己的企业带来好处，即企业真的可以借助SDN可以提供创新服务和更好的用户体验，同时改变原有的商业模式，提升运营效率。 2、保持一个开放的心态，部署SDN的目标正是借助底层网络的可编程性，实现更多创新。而如果你选择的是一个封...

2017-08-01

579

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。