MaxCompute执行作业慢的原因排查-低调大师

MaxCompute执行作业慢的原因排查

2017-10-15 682

大家在平时开发过程中经常遇到作业（SQL、MR等）执行慢的原因，今天带大家一起学习自排查方法。

1、waiting ,waiting，Job Queueing... Job Queueing...

遇到这个提示，就是资源出现了排队。

排查分析：如果你是后付费用户，那就是整个后付费的共享池已经没有富余的资源了。

解决方案：要等共享池中的前一个作业处理完或者根据作业使用的CU情况，购买预付费CU。

排查分析：如果你是预付费用户，很有可能是其他人的作业占用了过多资源，导致了排队。

解决方案：同一账户多人使用，存在并行多个JOB作业，部门之前可以合理设计JOB作业运行计划，错峰跑JOB作业。

2、作业超时严重，超出了作业平均时间

遇到这种现象，先别着急，打开logview看一下，是不是大部分小作业已经跑完，剩下部分作业没有跑完。

排查分析：这种就是典型的数

微信关注我们

原文链接：https://yq.aliyun.com/articles/224681

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop HDFS概念学习系列之HDFS的体系结构（十七）

如下图所示，HDFS采用Master/Slave架构对文件系统进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间(Namespace )及客户端对文件的访问。集群中的DataNode一般是一个节点运行一个DataNode进程，负责管理它所在节点上的存储。HDFS展示了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成了一个或多个数据块，这些块存储在一组DataNode上。NameNode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体DataNode节点的映射。DataNode负责处理文件系统客户端的读/写请求。在NameNode的统一调度下进行数据块的创建、删除和复制。1、副本存放与读取策略副本的存放是HDFS可靠性和性能的关键，优化的副木存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知( rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDF...

2017-10-16

512

2017杭州云栖大会于10月14日完美闭幕，据说今年6W+人的技术盛宴（我们先不追究具体多少人）。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布，但是我觉得作为一个大数据入门者，你只知道这些远远不够！笔者作为多年云栖大会的经历者也是参与者，总结相关阿里云大数据的相关材料，如下，希望帮助到更多的入门者。 10日大数据Workshop，带你手把手使用阿里云大数据产品《云数据·大计算：海量日志数据分析与应用》总体包括数据集成、DataWorks以及海致BDP。数据集成：日志数据采集数据加工：用户画像数据分析展现：可视化报表及嵌入应用教程入口： https://yq.aliyun.com/articles/72538 《在线用户行为分析：基于流式计算的数据处理及应用》总体包括日志服务、流计算Str

2017-10-16

600

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。