基于MaxCompute InformationSchema进行血缘关系分析
一、需求场景分析
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。
本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
二、方案设计思路
MaxCompute Information_Schema提供了访问表的作业明细数据tasks_history,该表中有作业ID、input_tables、output_tables字段记录表的上下游依赖关系。根据这三个字段统计分析出表的血缘关系
1、根据某1天的作业历史,通过获取tasks_history表里的input_tables、output_tables
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
每秒7亿次请求,阿里新一代数据库如何支撑?
作者 | 正研 2019年以来,Lindorm已经服务了包括淘宝、天猫、蚂蚁、菜鸟、妈妈、优酷、高德、大文娱等数十个BU,在今年的双十一中,Lindorm峰值请求达到了7.5亿次每秒,天吞吐22.9万亿次,平均响应时间低于3ms,整体存储的数据量达到了数百PB。 这些数字的背后,凝聚了HBase&Lindorm团队多年以来的汗水和心血。Lindorm脱胎于HBase,是团队多年以来承载数百PB数据,亿级请求量,上千个业务后,在面对规模成本压力,以及HBase自身缺陷下,全面重构和引擎升级的全新产品。相比HBase,Lindorm无论是性能,功能还是可用性上,都有了巨大飞跃。本文将从功能、可用性、性能成本、服务生态等维度介绍Lindorm的核心能力与业务表现,最后分享部分我们正在进行中的一些项目。 极致优化,超强性能 Lindorm
- 下一篇
12月11日云栖号头条:“视联网”能成为下一代互联网发展趋势?
今日最新云头条快讯:全员机器人的酒店究竟如何运营、有没有人买账?机器人酒店能开下去么?视频产业生态将推动视联网从千亿级规模迈入万亿级规模,一起来看最新的资讯: 住机器人酒店是交智商税吗? 这家世界上的第一家机器人酒店一共有144间客房,200名机器人员工,入住的全部流程都有机器人辅助完成。目前大部分酒店、商场、餐厅等公共服务场所还都只是在个别环节使用机器人提供服务,机器人在生活中的普及一定程度上代表了社会和科技的进步,随着5G时代的到来和人工智能的发展,机器人将大规模进入我们生产生活中的各个领域。未来随着人工智能和科技的进步,机器人或许将在人类社会中扮演更重要的角色。 “视联网”为何能成为下一代互联网发展趋势? “视联网+”的产业模式将进入高潮,与此同时,可穿戴智能设备的逐渐成熟带动视联网与硬件的结合越来越紧密,在视频播放设备(如投影、智能眼镜、电视等)中内嵌视联网产业生态将成为标配。视联网的成熟期可能在未来的15-20年到来。随着智能硬件与视联网完美结合,人的视觉感官将成为互联网的入口,可以链接到一切联入互联网的设备、享受其提供的服务。 大数据是如何驱动人工智能的? 当今人工智能发展...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果