基于MaxCompute InformationSchema进行冷门表热门表访问分析-低调大师

基于MaxCompute InformationSchema进行冷门表热门表访问分析

2019-11-25 630

一、需求场景分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。
一个MaxCompute项目中经常使用的表简称为热门表，使用次数较少或者很长时间不使用的表简称为冷门表，本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。
二、方案设计思路
MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及包含访问表的作业明细数据tasks_history，通过汇总各个表被作业访问的次数可以获知不同表被作业使用的频度。
详细步骤如下：
1、热门数据通过获取tasks_history表里的input_tables字段的详细信息，然

微信关注我们

原文链接：https://yq.aliyun.com/articles/728178

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

首度公开！OceanBase存储系统架构的演进历程及工程实践 | 11月26号栖夜读

点击订阅云栖夜读日刊，专业的技术干货，不容错过！阿里专家原创好文 1.首度公开！OceanBase存储系统架构的演进历程及工程实践作为一款100%自研的分布式数据库，OceanBase历经了近十年的发展历程。近十年来，OceanBase的存储架构经历了多次演进，以解决业务越来越复杂苛刻的存储需求。本文整理自赵裕众（花名陈群）在2019 SACC中国系统架构师大会中的演讲。阅读更多》》 2.在阿里，40岁的奋斗姿势在阿里，什么样的年纪可以称为老呢？35岁？在云网络，有这样一群人，他们的平均年龄接近40，却刚刚开辟职业生涯的第二战场。他们的奋斗姿势是什么样的呢？阅读更多》》 3.基于OOS批量修改资源标签值一篇干货好文，值得一读！阅读更多》》 4.双 11 模块 79.34% 的代码是怎样智能生成的？作为今年阿里经济体前端委员会的四大技术方向之一，前端智能化方向一被提及，就不免有人好奇：前端结合 AI 能做些什么，怎么做，未来会不会对前端产生很大的冲击等等。本篇文章将围绕这些问题，以「设计稿自动生成代码」场景为例，从背景分析、竞品分析、问题拆解、技术方案等几个角度切入，细述相关思...

2019-11-26

814

研究表明，以供应商为中心的人工智能设备的部署模型无法维持流量的指数性增长。如今，电信行业已经确定需要更快的最终用户数据速率。在以往，用户通过打电话和发短信进行沟通。但是，移动通信现在以一种戏剧性的方式改变了人们的生活。人们更倾向于基于影像和基于VR/AR视频的通信。因此考虑到这些需求，这些应用也需要一种新型的网络。而360°视频应用的沉浸式体验需要大量数据和零延迟网络。例如，分辨率等于4K电视分辨率的VR视频需要1 Gbps的带宽才能流畅播放，而需要2.5 Gbps的交互带宽。这两者都需要10ms的最小延迟。而这是往返时间。很快这些应用将以智能手机为目标，给网络带来更多压力。随着VR/AR服务的普及，即将采用的5G网络将提供所需的速度和性能。每个物联网设备都会创建数据，而这些数据是人工智能引擎的动力。人工智能使人们能够对数据做更多

2019-11-26

670

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。