您现在的位置是：首页 > 文章详情

智能分析的所见即所得——基于Lambda架构的实时数据引擎

日期：2019-08-25点击：491收藏

在刚刚结束的“2019智能决策峰会”上，观远数据重磅发布了观远智能分析平台2.0版本。高性能实时数据引擎作为备受瞩目的功能，得到了大家的广泛认可。下面就让我们一起来了解下基于Lambda架构的观远实时数据解决方案。

BI与实时数据

随着商业领域中的业务场景越来越复杂，更实时、更大量的数据正在被不断生产出来，如何将这些实时的海量数据高效的进行处理就变成了一个挑战。一般而言，传统BI只能支持T+1天时效延迟的数据决策，数据处理过程以ETL为主，实时数据处理存在天然缺陷；但新一代BI增加了更多样化数据源的导入存储，支持了更灵活的数据处理方式与更敏捷的数据处理时效，在合理规划服务器计算资源的前提下，新一代BI可以支持准实时、甚至分钟级实时数据的更新展示。可见，数据实时化已成为新一代BI的显著优势。

Lambda架构

作为新一代BI的典型代表，观远数据基于Lambda架构设计了一套高性能的实时数据引擎，那么什么是Lambda架构呢？

Lambda架构是一套通用的的实时大数据处理框架，其作者Nathan Marz基于对数据和查询的本质认识，整合了离线计算与实时计算，融合了不可变性、读写分离和复杂性隔离等一系列架构原则，从而设计出能满足实时大数据系统关键特性（如高容错、低延时、可扩展等）的Lambda架构。

Lambda架构的核心思想是将大数据处理系统划分为三层：Batch Layer、 Real-Time(Speed) Layer以及Serving Layer，从而将实时任务与批处理任务很好地结合起来，最终实现对大数据的实时处理。

Batch Layer：批处理层。该层可以很好的处理离线数据，在数据集上预先聚合好实时查询所需要数据的历史部分，从而得到Batch View。
Real-Time(Speed) Layer：加速层。该层可以处理最新的增量数据流，不断将数据以时间维度增量聚合到Real-Time View。
Serving Layer ：服务层。用于响应用户的查询请求，可以合并Batch View和Real-time View中的数据到最终的展示结果。

Guandata实时引擎

在观远智能分析平台1.0时代，观远数据可以提供两种准实时数据解决方案，但他们都存在一些不足。

用户在创建直连数据库的数据集时，可选择“支持实时卡片数据”。数据集版本有效时间将会缩小为10分钟，用户基于该数据集进行数据查询展示时，可达到准实时的效果。但这种处理方式对业务库会造成较大压力，且无法实现多源数据融合。

Guan-Index类型的数据集可支持最高每天四次的更新频率，按此频率抽取到观远平台上来的数据，通过ETL可以实现与其他数据源的融合。相比于上一种方案，这种方案虽然突破了对于数据来源的限制，但一方面数据更新频率受到限制，另一方面ETL运行也会占掉大量的计算资源从而导致系统性能受到影响。

在观远智能分析平台2.0版本中，观远数据推出了最新一代的实时数据引擎，通过汲取Lambda架构的精髓，将历史数据与实时数据进行分开处理，既能够实现多源数据的融合，又可以支持增量更新且占用较少的计算资源。该方案最终不仅可以进行简单的数据实时更新与展示，还可以支持复杂的计算与分析（比如零售场景中常用的同环比指标以及累计指标的实时运算）。

下面以门店维度的销售指标监控为例，列举了实时数据分析的典型场景：

门店经理通常需要关注当日每时每刻的业务KPI，但他关注的实时指标很有可能分散在不同的数据来源中（比如销售额、客流量）；
除了实时销售额以外，门店经理还会关注销售额的实时累计值，用来衡量本周累计完成的营业额是否已经达标，甚至会关心当前门店在整个区域乃至整个公司目前的销售额排名是什么水平，更复杂一点，如果能随时了解当前销售额到与昨天/上周同一时段相比的同环比变化，那就最好了；
当然，门店经理关注的数据并非都是需要实时更新的，还会有一些相对静态的附加信息，例如门店基础信息、门店当天的目标营业额等。

实时数据的展示与融合

在观远实时数据解决方案中，通过多数据源的融合，对于门店经理关注的销售额以及客流量，都可以实现高频次的聚合与实时展示。