实时交互平台流程与技术分析

最近几个月一直在做基于storm的流式处理，索性整理下所有的知识点与技术知识。

一、数据准备

1、首先，我们需要用户的所有数据，使用MapReduce进行数据处理，生成业务宽表导入hbase与Redis，用于后续实时处理直接从Redis中获取相应数据，减少读写磁盘IO的消耗。

 

二、消息的接入

1、传入的数据是经过二进制处理的，所以使用jetty轻量级服务对传入的报文进行接入解析，同时部署多个服务，使用nginx进行负载均衡。

 

2、每个服务同时启动多个线程进行消息的接入，通过blockingQueue进行存储，随后进行报文解析，序列化后发送对应主题的kafka.

 

三、storm处理

1、使用集成的kafkaspout进行消息的接入代替storm的spout，降低工程复杂度，可直接编写bolt进行业务逻辑处理，随后进行数据的一次性过滤bolt，验证消息的正确性并并封装入对象中。

 

2、通过消息中的相应主键，从Redis中加载该用户的全量数据，以便后续业务处理（存入hbase是以防redis出现问题进而再查询hbase，同时hbase中的rowkey做了散列，数据均匀分布在每个region中）。

 

3、加载配置活动规则，这些规则通过前台web系统配置保存，存储于redis中。对多个规则进行遍历匹配，封装成一个大的对象，传入下游推送拓扑。

 

4、推送拓扑在接收到消息后，从对象中获取封装的消息对象的渠道对象，对其进行遍历发送至不同的渠道。