MaxCompute数据仓库在更新插入、直接加载、全量历史表三大算法中的数据转换实践
2018“MaxCompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程，其次介绍了ETL算法中的三大算法，即更新插入算法、直接加载算法、全量历史表算法，再次介绍了在OLTP系统中怎样处理NULL值，最后对ETL相关知识进行了详细地介绍。
数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下内容根据现场分享整理而成。
数据架构及流程
MaxCompute包含临时层、基础数据层、应用层三个层次，数据上云后将数据源中的数据先传输到MaxCompute里的临时层中，并将数据进行处理，接着将数据经过简单的转换传输到基础数据层，最后将数据进一步汇总到应用层进而提供服务。三个层次的具体介
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
威胁快报| 首个Spark REST API未授权漏洞利用分析
2018年7月7日，阿里云安全首次捕获Spark REST API的未授权RCE漏洞进行攻击的真实样本。7月9号起，阿里云平台已能默认防御此漏洞的大规模利用。 这是首次在真实攻击中发现使用“暗网”来传播恶意后门的样本，预计未来这一趋势会逐步扩大。目前全网约5000台 Spark服务器受此漏洞影响。阿里云安全监控到该类型的攻击还处于小范围尝试阶段，需要谨防后续的规模性爆发。建议受影响客户参考章节三的修复建议进行修复。 一、漏洞详情说明Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。为了让使用者能够方便的控制系统进行计算和查看任务结果，Spark也提供了 WEB UI图形化界面和相
- 下一篇
数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践
2018 “MaxCompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统，它能够实现自动全链路的大数据处理流程，其中包括离线的和实时数据的，接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!直播视频回顾PPT下载请点击以下内容根据现场分享整理而成。 大数据中心的架构 上图为大数据实战Demo的整体架构，它的上云方式是离线的。要实现大数据实战Demo的应用，架构必需包含数据源系统、数据仓库、大数据应用系统平台、Web/应用平台、流程调度、数据加工及展现、实时处理平台，其中数据仓库包含临时层、基础数据层和应用层三个层次。 在整个架构中，数
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码