重磅发布，阿里云全链路数据湖开发治理解决方案

2022-08-17 361

阿里云重磅更新全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。

近日，阿里云EMR重磅推出新版数据湖Datalake，100%兼容社区大数据开源组件，具备极强的弹性能力，支持D数据湖构建DLF，数据湖存储OSS和OSS-HDFS，支持Delta Lake、Hudi、Iceberg三种湖格式。同时新版本Datalake对接阿里云一站式大数据开发治理平台DataWorks，沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。

另外，解决方案提供了“统一元数据管理、数据入湖、数据存储、缓存加速、弹性计算、容器、数据分析、任务编排、运维管理，以及安全”等全面数据湖能力。通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。

阿里云全链路数据湖开发治理解决方案架构

阿里云全链路数据湖开发治理解决方案使用OSS/OSS–HDFS作为数据湖存储，DLF作为数据湖构建和管理工具，JindoFS进行湖缓存加速，EMR作为弹性计算引擎进行湖计算，DataWorks进行数据开发和治理。DataWorks各模块与DataLake深度集成，从而实现一站式数据湖开发治理。

EMR新版数据湖集群

核心运维管控能力介绍

弹性能力

弹性伸缩支持按集群负载和按时间2种模式
弹性伸缩组支持多种实例规格
支持抢占式实例（相较按量付费成本降低80%以上）
支持成本优化模式（弹性比例的按量付费+包年包月）

集群管控能力

分钟级别创建和扩容集群，无需手动部署和启动服务
完善的集群监控和告警体系，覆盖硬件和引擎服务，支持配置告警模板

新版数据湖对比Hadoop集群优势

性能更优

速度加快

新版数据湖集群节点组扩容速度得到明显提升，单批次大规模节点扩容速度提升80%

	Hadoop	DataLake
弹性扩容 10 节点	4分钟	1分10秒
弹性扩容 50 节点	8分钟	1分30秒
弹性扩容 100节点	10分钟	1分50秒

支持并发

支持任务节点（task节点类型）多节点组并行扩缩容，能够覆盖多种使用场景，业务效率成倍提升。

功能更全

弹性伸缩能力更强

可以同时配置按时间伸缩和按负载伸缩；支持优先下线负载低的节点；配置规则不依赖于是否运行弹性伸缩活动，可灵活修改配置（仅影响下一次触发）。

执行逻辑更贴近使用场景

多方位调研用户真实使用场景，功能执行逻辑设计更贴近业务实际。如：

1）弹性伸缩扩容策略支持多实例选择并按顺序弹出（兜底库存不足场景），弹性伸缩缩容支持配置优雅下线并默认按负载选择目标节点下线（减少缩容时对集群任务影响）

2）同一节点组多个弹性规则同时触发时，默认按照用户规则排序依次生效（灵活应对多种使用场景）

操作体验优化

更丰富的配置提示和操作引导，并新增配置项预校验逻辑，降低用户学习成本和操作失败概率。

成本更省

弹性伸缩性能更优，功能覆盖更广泛的场景

弹性伸缩生效更快，支持功能更全。可以帮助用户更快更好地对硬件资源进行敏捷管理，根据业务需要设置相关策略，自动变更集群规模，减少硬件资源浪费。

通过灵活配置抢占式实例进一步压缩成本

在新增节点组时，提供完善的抢占式实例配置策略和兜底策略供用户配置，用户可以根据其业务诉求灵活配置，通过配置抢占式实例能够进一步压缩成本。

与Hadoop集群全面对比

模块	功能项	新版数据湖集群	Hadoop集群
集群	集群创建时间	平均时间小于5分钟。	平均时间小于10分钟。
集群节点组新增节点	平均时间小于3.5分钟。	平均时间小于10分钟。
开放API	支持。	支持。
域名支持	Private Zone。	hosts地址映射。
磁盘扩容	支持热扩容，无需重启集群服务。	不支持热扩容，需重启集群服务生效。
节点组	交换机	可以在新建节点组时选择交换机。	仅支持在集群创建时选择，集群创建后不可更改。
挂载公网	可以在创建集群的硬件配置页面的实例区域，选择是否为节点组开启公网。没有节点组类型的限制。	仅支持在集群创建时选择是否开启公网，创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网IP地址，详情请参见弹性公网IP中的申请EIP的内容。仅支持Master节点组挂载公网。
附加安全组	支持。	不支持。
部署集	可以在创建集群硬件配置页面的实例区域，选择是否开启部署集开关。可以在新增Core节点组时，选择是否开启部署集开关。	功能受限。
节点组状态	支持。	不支持。
混合节点	支持同规格的不同机型混合。	仅支持同规格机型。弹性伸缩节点支持混合节点。
弹性伸缩	弹性伸缩	弹性伸缩与节点组解耦，从独立的功能模块转为节点组操作，使用更加便捷。	需要专用的弹性伸缩组，该节点组不可进行手动扩缩容。
伸缩规则	配置规则不依赖于是否运行弹性伸缩活动，可灵活修改配置（仅影响下一次触发）。同一节点组多个规则同时触发时，会按照用户规则排序依次生效。	配置规则受到弹性伸缩状态限制，修改后无法立即生效。同一节点组多个规则同时触发时，随机生效。
伸缩记录	丰富了弹性伸缩记录信息。在查看详情页面新增了触发规则快照和执行结果参数，能够快速查看触发原因和变更节点信息。	提供基础的伸缩记录列表。
指标采集频繁	每30秒采集一次。	每30秒采集一次。
伸缩活动生效时间	规则应用后1~30秒。	规则应用后1~2分钟。
扩缩容	扩缩容活动	弹性伸缩活动与手动扩缩容活动运行机制相同。区别仅在于触发条件不同：弹性伸缩需要弹性伸缩规则触发。手动扩缩容需要人为触发。支持暂停弹性伸缩活动。多个Task节点组的扩缩容活动彼此独立，互不影响。弹性缩容根据节点负载和创建时间，智能选中目标节点，减少业务影响。	弹性伸缩活动和手动扩缩容活动是两套机制，互不兼容。弹性伸缩活动不支持暂停状态。同时仅支持一个节点组进行（弹性）扩缩容。弹性缩容节点选择具有随机性。
高可用与软件应用	高可用	不再支持本地MySQL作为Hive Metastore数据库。	支持本地MySQL作为Hive Metastore数据库。
支持部署集，3台Master分布在不同底层硬件以降低硬件风险。	默认不支持部署集。
NameNode与Resource Manager部署于3节点，并不再支持2 Master模式。	Namenode与Resource Manager仅部署于2节点，支持2 Master模式。
集群应用组件	支持可选	必选 + 可选。
Spark2与Hadoop3组合	支持。	不支持。
Spark3与Hadoop2组合	支持。	EMR-3.38.0之后版本支持同时部署。

DataWorks全链路开发治理能力介绍

DataWorks基于EMR-Datalake、EMR-Clickhouse、CDP等大数据引擎，为数据湖/数据仓库/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，通过智能数据建模、全域数据集成、高效数据开发、主动数据治理（数据质量、数据地图等）、全面数据安全、快速分析服务六大全链路数据治理的能力，与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。

智能数据建模

DataWorks智能数据建模沉淀阿里巴巴数据中台建模方法论，以维度建模为基础，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让数据仓库的建设向规范化，可持续发展方向演进。针对Datalake的智能数据建模能力将在2022年8月份正式发布。

全域数据集成

DataWorks数据集成是开源DataX的商业化团队，在数据湖场景下支持50+种数据源之间的离线同步，包含数据湖常见的HDFS、Hive、HBase、OSS、Kafka等数据源，MySql、Oracle、SQLServer等数据库。同时，针对IDC>>云上、云厂商>>云厂商、云产品>>云产品、云账号>>云账号等各种同步场景，提供网络连通的解决方案，让客户在复杂网络环境、丰富的异构数据源之间，依旧保持高速稳定的数据移动能力。

高效数据开发

DataWorks数据开发（DataStudio）与运维中心面向EMR-Datalake、EMR-CK、CDH等引擎，提供可视化开发的主界面，赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力，帮助用户轻松构建数据湖、离线数仓、实时数仓与即席分析系统，保证数据生产的高效与稳定。

数据开发-核心开发调度能力

支持EMR Hive、EMR MR、EMR Spark SQL、EMR Spark、EMR shell、EMR Presto、EMR Impala、EMR Spark Streaming共八种节点。
远超开源的超大规模调度稳定能力（双11单日千万级任务实例）
分钟/小时/天/周/月多种调度周期
业务流程全局参数/节点上下文传参

数据开发-多种可视化数据对象管理及控制节点

可视化资源文件上传（HDFS/OSS）
可视化管理UDF（Java）
可视化建表（支持HDFS/OSS）

归并、赋值、顺序、循环、分支等控制节点。
多种调度周期混合编排
可视化业务流程编排

数据开发-智能SQL编辑器

语法高亮
关键词自动补全
表/字段信息提示
函数信息提示

任务运维-运行诊断

运行诊断可帮助用户快速定位任务出错原因，例如

上游依赖未完成
调度资源不足
数据质量规则拦截
基线破线

同时拥有补数据相关能力，方便用户快速处理运维情况。在告警方面，运维中心支持多种告警方式

支持Webhook（钉钉、微信、飞书）、电话、短信、邮件等多渠道告警
支持基于值班表配置告警人员，

任务运维-智能基线

智能基线是DataWorks独创的监控技术，具备国家专利，用户无需配置每个任务的告警时间，仅需配置最终产出节点的告警时间，智能基线会基于历史的任务运行情况，在核心任务可能无法准时产出时，做提前告警，保障核心任务的生产稳定。

主动数据治理

DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品，覆盖事前、事中、事后的数据生命周期，通过数据治理健康分、质量规则、数据大血缘等能力，将书面的数据治理规范落地成平台化的产品能力，让数据治理不再一个 “阶段性项目”，而是一个“可持续的运营项目”。

数据质量

EMR HIVE节点支持DataWorks数据质量规则，内置37种数据质量规则模板，可以进行可视化、批量数据质量规则配置，提高数据质量规则配置效率。同时该模块与数据开发调度深度集成，可通过调度触发规则运行，节省计算资源，及时发现问题。

支持37种内置数据质量模板规则
支持批量配置规则、规则模板
支持绑定调度引擎并在质量报警时阻塞业务流程
支持动态阈值（顶会论文技术，算法自动判定告警阈值）
支持SQL自定义规则
支持短信、邮件、钉钉告警
支持自定义数据质量报告
支持质量问题处理记录

同时，数据质量支持强弱规则设置，进行灵活的运维控制。

强规则，直接阻塞下游任务运行，防止问题数据污染下游，浪费下游执行的计算资源
弱规则，只告警，不阻塞任务运行，针对一些非核心任务。

数据地图

数据地图支持完整的EMR-Datalake元数据体系，可以针对表名、字段名进行快速搜索，基于表、字段血缘浏览上下游关系快速找表，包括：

支持表基础信息、业务描述信息、产出信息等
支持分区、字段的明细信息与变更记录
支持表的产出信息解析（包括对表写入数据或者创建分区的调度任务）
支持表、字段的血缘信息解析（实时解析）
支持对表进行分级分类、收藏等操作
支持全局检索、按类目导航检索、按类目过滤

表基础信息：

表血缘信息：

全面数据安全

在数据安全方面，DataWorks支持Datalake引擎数据全生命周期的安全管理。包括以下5个方面：

数据传输安全

数据源访问控制

数据存储安全

存储加密
数据备份

数据处理安全

Ranger精细化数据授权管控

规范化开发流程，开发环境、生产环境执行身份独立管理

数据交换安全

数据脱敏

通用数据安全

RBAC权限模型

操作行为审计

LDAP认证管理

快速分析服务

SQL查询：完善的SQL查询编辑器，支持即席查询Hive、SparkSQL、Impala

电子表格：即席分析数据，Web类型的Excel

数据服务：低代码快速搭建ClickHouse API

开通购买

快速开通使用

快速入门：https://help.aliyun.com/document_detail/445672.html

使用须知：https://help.aliyun.com/document_detail/441120.html

迁移助手

调度任务迁移

为了帮助客户快速将原有的调度任务迁移到DataWorks上使用，我们提供了迁移助手，支持以下任务迁移能力：

支持Airflow，Oozie，Azkaban工作流迁移
支持EMR数据开发一键迁移至DataWorks
工作空间之间各种数据对象迁移

微信关注我们

原文链接：https://my.oschina.net/u/5583868/blog/5566784

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Redis进阶篇：发布订阅模式原理与运用

“65 哥，如果你交了个漂亮小姐姐做女朋友，你会通过什么方式将这个消息广而告之给你的微信好友？“ “那不得拍点女朋友的美照 + 亲密照弄一个九宫格图文消息在朋友圈发布大肆宣传，暴击单身狗。” 像这种 65 哥通过朋友圈发布消息，关注 65 哥的好友能收到通知的场景叫做「发布/订阅机制」。今天不聊小姐姐，深入了解下「Redis 发布/订阅机制」。的原理与实战运用。 Redis 通过 SUBSCRIBE，UNSUBSCRIBE和PUBLISH 实现发布订阅消息传递模式，Redis 提供了两种模式实现，分别是「发布/订阅到频道」和「发布\订阅到模式」。 [toc] Redis 发布订阅简介 Redis 发布订阅（Pus/Sub）是一种消息通信模式：发送者通过 PUBLISH发布消息，订阅者通过 SUBSCRIBE 订阅接收消息或通过UNSUBSCRIBE 取消订阅。主要包含三个部分组成：「发布者」、「订阅者」、「Channel」。发布者和订阅者属于客户端，Channel 是 Redis 服务端，发布者将消息发布到频道，订阅这个频道的订阅者则收到消息。如下图所示，三个「订阅者」订阅「...

2022-08-17

317

哪个营销任务、营销渠道的引流用户更多？买量用户的活跃、留存情况如何？哪个营销任务引流的用户后续的加购、下单转化最多？华为分析作为广告转化跟踪工具，广告主可实现从“曝光、点击、下载、激活、注册、留存、收藏、加入购物车、下单、开始结算、支付成功、复购”的全链路监测，让市场营销同学从繁杂的数据收集、整理中解放出来，监测营销效果，快速找到高质量用户，专注于思考投放策略的调整方向。便捷回传，高效归因：无缝衔接HUAWEI Ads，后链路转化事件便捷回传，让归因更高效，实现投放成本与获客效率的双向优化；行业定制，多维指标分析：深挖行业痛点，提供体系化电商强关联埋点方案，并基于此配备多样、核心的指标深度解读，一站式解决电商行业应用增长难题；丰富标签，精准人群分层：事件与标签的多维组合，让人群分层更加精准。AI算法加持，高潜付费人群与高风险流失人群提前预测，高效运营，有效提升GMV；买量识别，量化渠道投放与转化效果：营销归因区分买量与自然量，分析、洞察不同人群价值转化差异，以数据衡量各渠道留存与收益转化差异，甄选优质渠道，合理分配营销资源，优化投放策略；深度洞察，精益运营：全生命周期覆...

2022-08-17

431

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。