聚水潭是如何基于AnalyticDB for PostgreSQL 构筑海量实时数仓平台的

2019-12-10 801

聚水潭数据仓库业务介绍

上海聚水潭网络科技有限公司成立于2014年。聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务，快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经发展成为以SaaS ERP为核心，集多种商家服务为一体的SaaS协同平台，为全国33万多家电商企业提供全面的信息化解决方案。
来自阿里巴巴旗下商家服务市场的最新数据显示，聚水潭已是企业ERP类目中使用商家数最多的软件。自双十一购物节诞生以来，团队经历了每一次电商大促的考验，尽管每年承载单量成几何倍数增加，聚水潭系统依然保持平稳、安全和顺畅地运行。2019年11月11日，聚水潭系统处理订单总量达 2.5亿单，成交额超400亿元。
基于阿里云的ECS和数据库产品，聚水潭构建了一整套具有竞争力的电商SaaS平台，为商家提供订单管理、仓储管理、分销管理和协同供应链等功能。并且基于财务和经营数据，为商家提供快速经营报表、分析、测算工具系统。阿里云数据库为其提供了多元化的数据库服务。其中AnalyticDB for PostgreSQL（简称 ADB PG）分析型数据库支撑了核心数据仓库的ETL作业、CRM系统和在线分析报表业务，整体数据量达到 200TB+，每天超过354万任务运行。过去几年年来，ADB PG支撑了多次电商大促考验，2019年双十一期间聚水潭数仓日数据增量5.6TB，平均写入TPS 208万，全程平稳，零业务异常。

聚水潭数仓演进及解决方案

聚水潭在数据仓库方面，从无到有探索出一整套符合电商SaaS平台的数据仓库架构，其数据仓库演进经历了从原始期到成熟期的4个阶段：

原始期（2014年~2016年4月）：公司初创期间，数据库以服务业务系统为主；
探索期（2016年4月~2016年9月）：业务规模达到一定程度，开始有数据仓库需求，使用业务数据库承担部分数据仓库功能，随着业务的增长，业务系统和数仓相互影响；
自建期（2016年9月~2018年3月）：基于开源Greenplum构建数据仓库，首先探索了数仓大库模式，但由于商家众多，且增长速度快，把商家分摊到中等数仓库，在商家增长的同时添加中等数仓库个数方式更符合业务逻辑和业务发展；
成熟期（2018年3月~今）：数据库全面拥抱阿里云，数据仓库全部采用ADB PG构建，ADB PG承载了离线批处理和在线分析查询等业务。

聚水潭数仓“一路向北”迁移及双十一保障

每年双十一对电商平台是一次全面系统稳定性考察、也是易用性和性能的最好练兵场。阿里云聚石塔电商云平台在2019年8月启动“一路向北”迁移，将华东机房服务整体搬迁到张北，提供更大扩展和高性价比服务。聚水潭ADB PG数仓在迁移过程中，即开始了双十一的规划。在“一路向北”准备期间，对聚水潭三十多个ADB PG实例进行了水位摸底、瓶颈分析和双十一业务预期调研，对业务量大、增长迅速的实例进行了针对性调整及扩容。
针对双十一当天增量数据暴增的情况，在双十一前对离线批处理和在线报表业务进行了压测，压测在变配/扩容/新购实例的基础上进行，压测效果满足业务需求。此外，ADB PG在双十一前还进行了实例备份巡检、Xid巡检、磁盘容量巡检、CPU巡检等，确保聚水潭双十一生产实例的万无一失。同时双十一当天及第二天派工程师到客户现场进行重点保障。目前聚水潭共计有ADB PG三十多个实例，总计1348 CPU核资源。

AnalyticDB for PostgreSQL支撑聚水潭大规模数仓的核心技术

阿里云AnalyticDB for PostgreSQL为采用MPP架构的分布式集群数据库，完备支持SQL 2003，高度兼容Oracle语法，支持PL/SQL存储过程，触发器，支持标准数据库事务ACID。ADB PG通过行存储、列存储、多种分区表和索引等机制，可以支持海量数据的在线交付分析，也支持ETL批处理任务。如下是支持聚水潭海量数据仓库业务的关键技术点：

高压缩比列存储
ADB PG支持数据按列存储或按列存储。对于频繁更新的数据，建议采用行存储，而对于少量更新的大宽表，可以采用列存储。列存储除了可以实现高性能的全表聚合外，还具备存储的高压缩比。在聚水潭的数据仓库里，列存储数据普遍达到4倍以上的数据压缩率，从而极大的节省空间，降低成本。
复杂SQL优化
核心数据仓库的ETL过程，往往都是复杂的多表关联聚合，最优的执行路径会带来数量级上的性能提升。ADB PG具备完备的CBO代价优化器，同时Cascade的SQL优化框架，可以很好的将RBO规则优化同CBO代价优化相互结合，从而指定最优的分布式执行计划，保证ETL的执行性能。
高性能执行
ADB PG支持多种计划机制，包括支持表按区间或者值进行分区，支持标准BTree索引，Bitmap位图索引等，从而保证高性能的分析计算性能。

AnalyticDB for PostgreSQL 产品技术展望

ADB PG 2019年底会上线新一代向量化计算引擎，对于标准TPC-H OLAP benchmark 查询性能提升1倍以上。当前公测中的最新版本ADB PG 6.0，HTAP能力大幅增强，标准TPC-C OLTP benchmark 支持 20w tpmC，从而对混合复杂场景，高并发 QPS 场景，性能有了质的提升。ADB PG 目前推出一元试用一个月活动，基于其完备功能，卓越性能，是阿里云平台上快速构建海量实时数仓的最优选择。 https://www.aliyun.com/product/gpdb

微信关注我们

原文链接：https://yq.aliyun.com/articles/738754

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Tablestore结合Blink公共云使用手册

前言本文将介绍在Blink实时计算平台建立以Tablestore作为流计算的源表以及结果表作业的流程。表格存储通道服务表格存储通道服务是基于表格存储(Tablestore)数据接口之上的全增量一体化服务，它通过一组Tunnel Service API和SDK为用户提供了增量、全量和增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立Tunnel Service数据通道，用户可以通过流式计算的方式对表中历史存量和新增的数据进行消费处理。流计算能将Tunnel Service数据通道作为流式数据的输入，每条数据类似一个JSON格式，如下所示： { "OtsRecordType": "PUT", // 数据操作类型，包括PUT、UPDATE、DELETE "OtsRecordTimestamp": 1506416585740836, //数据写入时间（微秒），全量数据时为0 "PrimaryKey": [ { "ColumnName": "pk_1", //第一主键列 "Value": 1506416585881590900 }, { "ColumnName": "pk_2",...

2019-12-06

909

作者：正研，阿里云数据库技术专家导读 Lindorm，就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库，集大规模、高吞吐、快速灵活、实时混合能力于一身，面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前，Lindorm已经全面服务于阿里经济体中的大数据结构化、半结构化存储场景。注：Lindorm是阿里内部HBase分支的别称，在阿里云上对外售卖的版本叫做HBase增强版，之后文中出现的HBase增强版和Lindorm都指同一个产品。 2019年以来，Lindorm已经服务了包括淘宝、天猫、蚂蚁、菜鸟、妈妈、优酷、高德、大文娱等数十个BU，在今年的双十一中，Lindorm峰值请求达到了7.5亿次每秒，天吞吐22.9万亿次，

2019-12-11

693

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。