您现在的位置是：首页 > 文章详情

Tapdata 实时数据融合平台解决方案（一）：现代企业数据架构及痛点

日期：2021-06-04点击：453收藏

作者介绍： TJ，唐建法，Tapdata 钛铂数据 CTO，MongoDB中文社区主席，原MongoDB大中华区首席架构师，极客时间MongoDB视频课程讲师。

“怎样可以来搭建一个数据中台？” 身处数据处理行业，经常被客户问到这样的问题。

数据中台到底是什么，是产品、技术还是一个架构……，

在关于数据中台的概念铺天盖地的时候，我们来聊一聊数据中台的架构，技术上实现，以及如何在企业落地，实实在在解决问题。

一、现代企业数据架构及痛点

– 数据孤岛：低效率和利用困难的根源

– 应用瓶颈：传统方案数据仓库、数据湖的不足

我们先以航空公司的场景为例：

航空公司的市场部计划推出一个新产品或者是一个客户活动，会希望了解哪一种渠道是某类客户最常用的？当想到这个问题的时候，发现航空公司的客户触点太多了。

PSDP行程订单，投诉、行李系统，常旅客系统，手机App系统等等。这些系统都是航空公司在不同阶段，不同的业务部门建立的应用。这些应用在部署时只会以本业务为目标，而不会考虑到企业其他业务能够很好的对接。如果这些应用中的数据没有做到统一的话，那要花费数天或者数周才能得到结果，甚至都不知道哪里能够拿到数据。有时就算知道，还要协调其他业务部门来正确地给到。

再来看一个保单贷小程序的案例。

当客户通过这个保单贷小程序申请现金贷的时候，如果客户在保险公司中已购买过重疾险、人寿险或财产险，系统可以根据客户的保单额，在一分钟内判断出提供给客户适合类型的现金贷。

在上线的时候发现，这个保单贷小程序很快开发好了，但是数据在人寿、重疾、财险等不同的系统里面，有些还需要推荐系统和标签系统。所以要花很多的时间来做数据的对接，这个时间是数周、甚至数月。因为其中不只是数据问题，还涉及到权限等问题。

以上的情形都是企业中常见的数据孤岛的问题，而且随时 IT 建设的发展，这个问题会原来越常见。

数据孤岛成因，是由于事业部门在建设 IT 服务的时候，分别以各自业务建设为核心，而不是以数据建设为目标而形成的。

其次，常用的数据库如Oracle, SQLServer, DB2, Sybase，这些关系型数据库一直以来存在性能扩展的瓶颈。导致在上大的系统，或者客户量增加时，需要采用分库分表的方式。因为单个库没有办法支撑到太多的业务量。这也形成了大量数据孤岛。

数据孤岛带来的影响严重阻碍了新业务对已有数据的重复利用:

需要大量时间对接和同步；
用户体验下降，数据不完整不实时；
重复建设，复用率低等。

为了解决数据孤岛的问题，目前的解决方案，有应用层面 ESB 企业总线、MQ等；从存储角度来说，有数仓Teradata，Greenplum，以及数据湖。这些方案都可以在一定层面上解决问题，但是存在局限性：

首先，这些方案都是面向分析场景，对于数据抽取不及时，多数是 T+1 方式，也就是说业务获取的数据，是系统昨天生产出来的。这些数据在数仓及数据湖中处理形成了大量报表及结果数据，通过下载、导出等方式进行交付，形式粗放。所有目前市面上的大数据平台，大部分的场景是偏重于分析，主要用于做BI，做报表、Dashboard，来对企业的运营和客户有所洞察。