MaxCompute Studio使用心得系列3——可视化分析作业运行-低调大师

MaxCompute Studio使用心得系列3——可视化分析作业运行

2017-11-08 516

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷，这次分享脚本编译好提交运行后，自助查看作业的执行情况。

我们很熟悉的是通过logview，去分析作业的执行情况，logview上有很详细的执行日志，而Studio不仅仅提供可视化的信息，还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本，编译成功

接着执行脚本，Studio自动打开当前job的执行详细信息页面，包括job基本信息列表、详情展示和分析区（执行计划图、时序图、分析等）

如上图，job执行失败：

界面底部RUN日志中打出具体的错误信息。
详情展示区默认显示执行计划图，可以看到子任务的依赖关系，双击每一个子任务节点图，可以展开更详细的信息。
即使是失败的job，也可以切换到分析tab查看具体结论，如本次执行，j

微信关注我们

原文链接：https://yq.aliyun.com/articles/236562

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Phoenix与Squirrel 是什么？

前言 Phoenix是HBase的开源SQL引擎。 squirrel是windows上Phoneix可视化工具。 Phoenix的官网 http://phoenix.apache.org/ Phoenix是什么？ Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 Phoenix是构建在HBase之上的SQL引擎。你也许会存在“Phoenix是否会降低HBase的效率？”或者“Phoenix效率是否很低？”这样的疑虑，事实上并不会，Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能（更不用说可以少写了很多代码）：编译你的SQL查询为原生HBase的scan语句。检测scan语句最佳的开始和结束的key。精心编排你的scan语句让他们并行执行。让计算去接近数据通过。推送你的WHERE子句的谓词到服务端过滤器处理。执行聚合查询通过服务端钩子（称为协同处理器）。除此之外，Phoenix还做了一些有趣的增强功能来更多地优化性能：...

2017-11-09

553

【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结

特点： 1、分层队列：支持队列分层能够保证一个组织的子队列能够在允许其他队列使用资源之前共享资源，提供更多控制和预测性 2、容量保证：分配给队列一小部分容量，一定意义上说，这部分容量由队列掌控。提交到队列的所有应用程序将可以访问分配给队列的容量。管理员可以为分配给每个队列的容量配置软限制和可选的硬限制。 3、安全保证：每个队列有严格的访问控制列表，访问控制列表控制用户能够提交应用一个独立的队列中。同时，安全保证用户不能查看或修改其他用户提交的应用，支持每个队列和系统管理员角色。 4、弹性：空闲资源可以分配到任何超出容量的队列。如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列释放的资源会归还给该队列 5、多租户：提供一套限制，防止当个应用、用户、队列垄断一个队列或者集群的资源。防止集群不堪重负 6、可操作性：支持运行时修改配置，在运行时修改队列的定义和属性，比如容量和访问控制列表等。管理员以安全的方式尽量减少对用户的干扰。管理员可以在运行时停止队列，保证已存在的应用运行完成，不允许行的应用提交到队列中，如果一个队列处于STOP...

2017-11-09

445

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。