一探究竟：善用 MaxCompute Studio 分析 SQL 作业-低调大师

一探究竟：善用 MaxCompute Studio 分析 SQL 作业

2018-05-16 650

头疼的问题

MaxCompute 用户一个常见的问题是：同一个周期任务，为什么最近几天比之前慢了很多？或者为什么之前都能按时产出的作业最近经常破线？

通常来说，引起作业执行变慢的原因有：quota 组资源不足、输入数据量变动、数据分布情况变动、平台硬件故障引发重跑等。本文主要针对数据变动引起的作业慢问题，介绍用户如何通过 MaxCompute Studio 的作业执行图及作业详情功能来自助定位问题。

MaxCompute Studio 登场

我们举个例子来说。下面是同一个任务分别在5月7日，5月9日的执行情况，下面分别称为作业一、作业二：

作业一，执行时长 24分38秒

作业二，执行时长 9分40秒

先来，对比下 SQL 和执行计划

通常来说，进行两次执行对比前，要先对比一下两次执行的 SQL 脚本是否相同，如果在这之间用户改动过作业脚本，就需

微信关注我们

原文链接：https://yq.aliyun.com/articles/593626

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark2.1.0之代码结构及载入Ecplise方法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/79688675 本文旨在帮助那些想要对Spark有更深入了解的工程师们，了解Spark源码的概况，搭建Spark源码阅读环境，编译、调试Spark源码，为将来更深入地学习打下基础。一、项目结构在大型项目中，往往涉及非常多的功能模块，此时借助于Maven进行项目、子项目（模块）的管理，能够节省很多开发和沟通成本。整个Spark项目就是一个大的Maven项目，包含着多个子项目。无论是Spark父项目还是子项目，本身都可以作为独立的Maven项目来管理。core是Spark最为核心的功能模块，提供了RPC框架、度量系统、Spark UI、存储体系、调度系统、计算引擎、部署模式等功能的核心实现。这些Spark中主要子项目（模块）的功能如下： spark-catalyst：Spark的词法、语法分析、抽象语法树（AST）生成、优化器、生成逻辑执行计划、生成物理执行计划等。 spark-core：Spark最为基础和核心的功能模块。 spar...

2018-05-17

625

1）在倒排索引中查找搜索串，获取document list date来举例 word doc1 doc2 doc3 2017-01-01 * * 2017-02-02 * * 2017-03-03 * * * filter：2017-02-02 到倒排索引中一找，发现2017-02-02对应的document list是doc2,doc3 （2）为每个在倒排索引中搜索到的结果，构建一个bitset，[0, 0, 0, 1, 0, 1] 非常重要使用找到的doc list，构建一个bitset，就是一个二进制的数组，数组每个元素都是0或1，用来标识一个doc对一个filter条件是否匹配，如果匹配就是1，不匹配就是0 [0, 1, 1] doc1：不匹配这个filter的doc2和do3：是匹配这个filter的尽可能用简单的数据结构去实现复杂的功能，可以节省内存空间，提升性能（3）遍历每个过滤条件对应的bitset，优先从最稀疏的开始搜索，查找满足所有条件的document 后面会讲解，一次性其实可以在一个search请求中，发出多个filter条件，每个filter条件都会对应...

2018-05-17

544

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。