MaxCompute数仓构建流程基本概念
云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!
下图为MaxCompute数据仓库构建的整体流程。
基本概念
在正式学习本教程之前,您需要首先理解以下基本概念:
- 业务板块:比数据域更高维度的业务划分方法,适用于庞大的业务系统。
- 维度:维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型,为分析需求服务。维度是度量的环境,是我们观察业务的角度,用来反映业务的一类属性 。属性的集合构成维度 ,也可以称为实体对象。例如, 在分析交易过程时,可以通过买家、卖家、商品和时间等维度描述交易发生的环境。
- 属性(维度属性):维度所包含的表示维度的列称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。
- 度量:在维度建模中,将度量称为事实 ,将环境描述为维度,维度是用于分析事实所需要的多样环境。度量通常为数值型数据,作为事实逻辑表的事实。
- 指标:指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,是具有明确业务含义的名词 ,体现明确的业务统计口径和计算逻辑,例如支付金额。
(1).原子指标=业务过程+度量。
(2).派生指标=时间周期+修饰词+原子指标,派生指标可以理解为对原子指标业务统计范围的圈定。
- 业务限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后的条件,不包括时间区间)。
- 统计周期:统计的时间范围,例如最近一天,最近30天等(类似于SQL中where后的时间条件)。
- 统计粒度:统计分析的对象或视角,定义数据需要汇总的程度,可理解为聚合运算时的分组条件(类似于SQL中的group by的对象)。粒度是维度的一个组合,指明您的统计范围。例如,某个指标是某个卖家在某个省份的成交额,则粒度就是卖家、地区这两个维度的组合。如果您需要统计全表的数据,则粒度为全表。在指定粒度时,您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在。
基本概念之间的关系和举例如下图所示。
本文来自 阿里云文档中心 MaxCompute 数仓构建流程
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
三分钟了解云存储网关 使用场景
云栖号快速入门:【点击查看更多云产品快速入门】不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作! 本文介绍云存储网关的主要应用场景。 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端保留全量数据(冷+热)保证数据的一致性。具体的使用场景如下所示。 共享文件池:在不同计算集群之间共享文件和数据。 数据备份:通过类似Veaam,NBU等备份软件,将一些应用数据按一定策略通过云存储网关将数据备份到阿里云OSS。 冷数据归档:可以通过云存储网关将冷数据从本地或者ECS实例中通过云存储网关写入OSS的低频和归档库中,释放本地空间,提高存储的效费比。 云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucke...
- 下一篇
高科技:美国开发远程人脸识别系统 实现1公里内目标识别
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 来自外媒消息,近日,在《新科学》杂志刊登了一篇报道:美国军方正在开发一种便携式人脸识别设备,能够识别一公里外的目标。 这是美国特种作战司令部正在实施的“远程技术的高级战术人脸识别”项目,项目开始于2016年,去年12月曾演示了一个工作样机,为量产版本铺平了道路。 据悉,目前这项研究正在进行中,美国特种作战司令部并未透露何时面世。 这一技术设计的初衷,是用于手持设备和无人机,目标对象甚至可以在不知情、不面对镜头的情况下被识别出来。因此,有人权倡导者也对此表示出担忧。 据了解,该设备由位于弗吉尼亚州阿灵顿的Secure Planet公司开发,该公司主要生产基于数码单反相机进行远程人脸识别的设备,并在标准笔记本电脑上运行商用人脸识别软件。 这些设备的识别范围一般约为300米,想要延长设备识别距离并不像给相机增加一个更长的镜头那么简单,因为这会增加镜头振动产生的噪音。 新的超远距离识别系统面临的挑战是,如何将捕捉到的图像转换成足够清晰的、可用于护照处理软件的图像。 有研究人员尝试使用卷积神经网络...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS关闭SELinux安全模块
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程