调度参数在MaxCompute的使用
一、调度参数和MaxCompute的关系
首先明确调度参数是属于DataWorks上的和MaxCompute之间是没有关系的。
二、调度参数执行的原理
调度参数是经过DataWorks的调度系统进行解析,然后将解析的值传到MaxCompute上MaxCompute根据对应的key获取对应的value,所以想要取到值必须经过DataWorks的调度系统解析。
三、如何测试调度参数
1.系统参数(2个)
• 主要包括业务时间bdp.system.bizdate
• 定时时间bdp.system.cyctime
说明:
这两个值由于是DataWorks的系统参数,可以直接在代码中使用,在页面点击高级运行可以解析。
**使用方法:
**
在DataWorks直接点击高级运行可以看到结果
select ${bdp.system.bizdate}
结果:
2.时间参数
内置
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
HBase 加载Hfile时的读取过程
Hfile分为4部分,其中loadOnOpen section 和trailer这2部分是open file时就会加载到内存的。 Step1: 读取文件末尾的4Bytes,得到Hfile format版本号,进而知道Trailer部分的大小, v2和v3都固定为4096Bytes; Step2: 读取文件末尾的4096Bytes,这部分整体作为一个block,包含一些重要的元数据信息,目前有15个,分为以下几类; 偏移量:loadOnOpenDataOffset、fileinfoOffset、firstDataBlockOffset、lastDataBlockOffset; 数量和大小:totalUncomressedBytes、entryCount、dataIndexCount、metaIndexCount、uncompressedDataIndexSize、numDataIndexLevels 算法:compressionCodec、comparatorClassName、encryptionKey 版本号:majorVersion、minorVersion 其中,fileinfo...
- 下一篇
免费下载 | 全景揭秘阿里文娱智能算法
文娱大脑究竟能有多“智能”?答案是全生命周期的人工智能技术!从内容智能到增长营销,全景揭秘阿里文娱智能算法,就在这一本! 点击这里免费获取电子书 阿里是一家坚信数据力量的公司,而文娱涉及的相关产业非常广泛,从线上到线下、从影剧综漫到现场娱乐以及文学小说等,其组成、形式、展现、分发的复杂性交织在一起为业务数据化带来了巨大的挑战。 近三年来,阿里文娱摩酷实验室始终以助力业务发展和增长为核心驱动,形成如下四个的技术方向: 内容理解是文娱相关算法技术的基石,IP、小说、剧本、视频、音乐等不同形态的内容对构建起领域知识图谱带来了很多困难,在这其中计算机视觉、自然语言处理、图谱&推理、图神经网络、多模态内容分析等技术被广泛应用于内容解构。以视频为例,影剧综视频的时长很难用一些低层级的标签来抽象表达其内容,基于多模态的分析技术在这类内容上也
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- 设置Eclipse缩进为4个空格,增强代码规范
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7安装Docker,走上虚拟化容器引擎之路