基于MaxCompute InformationSchema进行血缘关系分析-低调大师

基于MaxCompute InformationSchema进行血缘关系分析

2019-12-10 775

一、需求场景分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。
本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
二、方案设计思路
MaxCompute Information_Schema提供了访问表的作业明细数据tasks_history，该表中有作业ID、input_tables、output_tables字段记录表的上下游依赖关系。根据这三个字段统计分析出表的血缘关系
1、根据某1天的作业历史，通过获取tasks_history表里的input_tables、output_tables

微信关注我们

原文链接：https://yq.aliyun.com/articles/738779

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每秒7亿次请求，阿里新一代数据库如何支撑？

作者 | 正研 2019年以来，Lindorm已经服务了包括淘宝、天猫、蚂蚁、菜鸟、妈妈、优酷、高德、大文娱等数十个BU，在今年的双十一中，Lindorm峰值请求达到了7.5亿次每秒，天吞吐22.9万亿次，平均响应时间低于3ms，整体存储的数据量达到了数百PB。这些数字的背后，凝聚了HBase&Lindorm团队多年以来的汗水和心血。Lindorm脱胎于HBase，是团队多年以来承载数百PB数据，亿级请求量，上千个业务后，在面对规模成本压力，以及HBase自身缺陷下，全面重构和引擎升级的全新产品。相比HBase，Lindorm无论是性能，功能还是可用性上，都有了巨大飞跃。本文将从功能、可用性、性能成本、服务生态等维度介绍Lindorm的核心能力与业务表现，最后分享部分我们正在进行中的一些项目。极致优化，超强性能 Lindorm

2019-12-11

730

今日最新云头条快讯：全员机器人的酒店究竟如何运营、有没有人买账？机器人酒店能开下去么？视频产业生态将推动视联网从千亿级规模迈入万亿级规模，一起来看最新的资讯：住机器人酒店是交智商税吗？这家世界上的第一家机器人酒店一共有144间客房，200名机器人员工，入住的全部流程都有机器人辅助完成。目前大部分酒店、商场、餐厅等公共服务场所还都只是在个别环节使用机器人提供服务，机器人在生活中的普及一定程度上代表了社会和科技的进步，随着5G时代的到来和人工智能的发展，机器人将大规模进入我们生产生活中的各个领域。未来随着人工智能和科技的进步，机器人或许将在人类社会中扮演更重要的角色。 “视联网”为何能成为下一代互联网发展趋势？ “视联网+”的产业模式将进入高潮，与此同时，可穿戴智能设备的逐渐成熟带动视联网与硬件的结合越来越紧密，在视频播放设备（如投影、智能眼镜、电视等）中内嵌视联网产业生态将成为标配。视联网的成熟期可能在未来的15-20年到来。随着智能硬件与视联网完美结合，人的视觉感官将成为互联网的入口，可以链接到一切联入互联网的设备、享受其提供的服务。大数据是如何驱动人工智能的？当今人工智能发展...

2019-12-09

778

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。