12月5日Spark社区直播【是时候改变你数仓的增量同步方案了】
议题:
是时候改变你数仓的增量同步方案了
直播间直达(回看)链接:
https://tianchi.aliyun.com/course/live?&liveId=41124
简介:
本分享会先介绍传统数据增量同步方案,之后对比新方案(完全基于Spark无需额外组件),介绍新方案如何结合最新的数据湖(delta lake)实现,同时引入spark-binlog,极大的简化了数据增量的门槛和架构。如果时间允许,我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持我们新的数据增量方案的。
讲师:
祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。
时间:
2019年12月5日
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
CNCF官方大使张磊:什么是云原生?
作者|张磊 阿里云容器平台高级技术专家,CNCF 官方大使编者说:从 2015 年 Google 牵头成立 CNCF 以来,云原生技术开始进入公众的视线并取得快速的发展,到 2018 年包括 Google、AWS、Azure、Alibaba Cloud 等大型云计算供应商都加入了云原生基金会CNCF,云原生技术也从原来的应用容器化发展出包括容器、Service Mesh、微服务、不可变基础设施、Serverless、FaaS 等众多技术方向,CFCF 旗下也囊括了越来多的开源项目。 Kubernetes 作为 CNCF 的第一个项目从诞生之初就就令人瞩目,Kubernetes 由 Google 工程师基于 Google 内部多年集群管理系统 Borg 的设计经验,结合云计算时代的基础设施特点重新设计而得,旨在帮助企业解决大规模 IT 基础设施的应用容器编排难题。Google 在 2014 年 6 月开源Kubernetes 以后,在 Redhat、Microsoft、Alibaba 等厂商和众多开源爱好者共同的努力下,成长为如今容器编排领域的事实标准,极大的推动了云原生领域的发展。在系...
- 下一篇
阿里云MaxCompute 2019-11 月刊
您好,MaxCompute 2019.11月刊为您带来11月产品、技术最新动态,欢迎阅读。订阅 MaxCompute 月刊 >> 导读 【重要功能发布】 【重要文档发布】 【精选技术文章】 【活动回顾】 【11月重要功能发布】 1.【新功能】MaxCompute与Tableau深度集成 查看详情 >>> 适用客户习惯使用Tableau的客户 发布功能可以通过MaxCompute JDBC driver,实现在Tableau中连接MaxCompute,并可以对MaxCompute上的数据进行可视化分析。 2.【新功能】MaxCompute-数据脱敏 查看详情 >>> MaxCompute提供了对SQL查询任务结果的动态脱敏功能,可以帮助您有效地保护敏感数据。 适用客户MaxCompute公共云客户 发布功能MaxCompute提供了对SQL查询任务结果的动态脱敏功能,可以帮助您有效地保护个人身份识别数据。动态脱敏功能仅对上层数据进行脱敏,不会影响底层数据存储。目前内置支持脱敏的数据类型为:身份证、手机号、电子邮箱、银行卡、车牌号、IP地...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS6,CentOS7官方镜像安装Oracle11G
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS6,7,8上安装Nginx,支持https2.0的开启