MaxCompute Studio使用心得系列7——作业对比
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便。MaxCompute Studio从3.1.0版本开始支持作业对比,可以在一个页面同时比较两个作业,并且能自动标注出作业的差异点。
本文我以查找同个作业执行两次用时差别很大的原因为例,通过MaxCompute Studio的对比功能对两次执行的job进行对比,找出执行时间差别大的原因。
作业对比入口
MaxCompute Studio的Maxcompute 工具菜单中进入作业对比。
输入两个需要对比的job的logview url 地址,点击“OK”按钮就可以开始对比:
对比基本信息
作业一运行了01:11:08 ,作业二运行了00:
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Spark中分布式使用HanLP(1.7.0)分词示例
HanLP分词,如README中所说,如果没有特殊需求,可以通过maven配置,如果要添加自定义词典,需要下载“依赖jar包和用户字典".分享某大神的示例经验:是直接"java xf hanlp-1.6.8-sources.jar" 解压源码,把源码加入工程(依赖本地jar包,有些麻烦,有时候到服务器有找不到jar包的情况)按照文档操作,在Spark中分词,默认找的是本地目录,所以如果是在driver中分词是没有问题的。但是如果要分布式分词,是要把词典目录放在HDFS上面,因为这样每台机器才可以访问到 【参考代码】最好把新增词典放在首位(没有放在首位好像没有生效).第一次使用时,HanLP会把新增txt文件,生成bin文件,这个过程比较慢。但是只需要跑一次,它会把bin文件写到HDFS路径上面,第二次以后速度就快一些了。注意到issue中说,只可以在mapPartition中使用参考scala代码class HadoopFileIoAdapter extends IIOAdapter { override def create(path: String): java.io.Output...
- 下一篇
阿里开发者招聘节 | 阿里巴巴数据技术及产品部诚招技术人才啦!
团队承担了阿里巴巴集团内的数据中台建设任务,现将多年实战积累下的经验通过云上环境对外输出至更多的政企业。2017年,出版的《大数据之路:阿里巴巴大数据实践》,书中总结了阿里巴巴数据中台多年的技术经验,为广大数据领域从业者提供了重要的实践指导。 2018年,我们又推出了智能数据构建与管理平台Dataphin —— 从数据接入到数据消费全链路,提供一站式的大数据能力,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。 云上数据中台,未来无限可能,我们需要以下岗位: 实时大数据研发工程师• 职位描述:基于flink开源大数据计算平台,在阿里集团整体业务场景下 研发实时流计算数据研发平台,支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务 研发实时OLAP(ElasticSearch,Druid)赋能
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS8编译安装MySQL8.0.19