基于MaxCompute InformationSchema进行血缘关系分析-低调大师

基于MaxCompute InformationSchema进行血缘关系分析

2019-12-10 796

一、需求场景分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。
本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
二、方案设计思路
MaxCompute Information_Schema提供了访问表的作业明细数据tasks_history，该表中有作业ID、input_tables、output_tables字段记录表的上下游依赖关系。根据这三个字段统计分析出表的血缘关系
1、根据某1天的作业历史，通过获取tasks_history表里的input_tables、output_tables

微信关注我们

原文链接：https://yq.aliyun.com/articles/738779

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每秒7亿次请求，阿里新一代数据库如何支撑？

作者 | 正研 2019年以来，Lindorm已经服务了包括淘宝、天猫、蚂蚁、菜鸟、妈妈、优酷、高德、大文娱等数十个BU，在今年的双十一中，Lindorm峰值请求达到了7.5亿次每秒，天吞吐22.9万亿次，平均响应时间低于3ms，整体存储的数据量达到了数百PB。这些数字的背后，凝聚了HBase&Lindorm团队多年以来的汗水和心血。Lindorm脱胎于HBase，是团队多年以来承载数百PB数据，亿级请求量，上千个业务后，在面对规模成本压力，以及HBase自身缺陷下，全面重构和引擎升级的全新产品。相比HBase，Lindorm无论是性能，功能还是可用性上，都有了巨大飞跃。本文将从功能、可用性、性能成本、服务生态等维度介绍Lindorm的核心能力与业务表现，最后分享部分我们正在进行中的一些项目。极致优化，超强性能 Lindorm

2019-12-11

764

今日最新云头条快讯：全员机器人的酒店究竟如何运营、有没有人买账？机器人酒店能开下去么？视频产业生态将推动视联网从千亿级规模迈入万亿级规模，一起来看最新的资讯：住机器人酒店是交智商税吗？这家世界上的第一家机器人酒店一共有144间客房，200名机器人员工，入住的全部流程都有机器人辅助完成。目前大部分酒店、商场、餐厅等公共服务场所还都只是在个别环节使用机器人提供服务，机器人在生活中的普及一定程度上代表了社会和科技的进步，随着5G时代的到来和人工智能的发展，机器人将大规模进入我们生产生活中的各个领域。未来随着人工智能和科技的进步，机器人或许将在人类社会中扮演更重要的角色。 “视联网”为何能成为下一代互联网发展趋势？ “视联网+”的产业模式将进入高潮，与此同时，可穿戴智能设备的逐渐成熟带动视联网与硬件的结合越来越紧密，在视频播放设备（如投影、智能眼镜、电视等）中内嵌视联网产业生态将成为标配。视联网的成熟期可能在未来的15-20年到来。随着智能硬件与视联网完美结合，人的视觉感官将成为互联网的入口，可以链接到一切联入互联网的设备、享受其提供的服务。大数据是如何驱动人工智能的？当今人工智能发展...

2019-12-09

810

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。