使用cu管家管理Maxcompute多项目-低调大师

使用cu管家管理Maxcompute多项目

2018-05-17 782

使用cu管家管理Maxcompute多项目

我们在maxcompute的实际使用中,采用了多项目的方式,具体可参看之前写的一篇博客:MaxCompute多团队协同数据开发项目管理最佳实践虽然有很多优点,但是实际使用过程中还需要maxcompute管家来配合管理这些项目:

1. 各个项目资源监控

能够一目了然的看到每个项目使用资源的情况
每个时段计算资源和存储资源的使用情况,有利于我们发现一些性能比较差的任务
如图红框的那个时段可能会有性能较差的任务

2. 错峰运行(系统状态)

- 会有这样的一些任务:运行时间比较长,消耗资源比较大,但是产出时间不需要那么及时,这时候我们可以将这些任务定时在自己资源相对比较空闲的时段运行
- 如图:类似的任务可放在17点半以后执行

3. 计算资源分配和隔离(Quota设置)

- 对于计算资源使用比较大的用户来说,显然购买预付费资源要划算很多,如果所有项目都平等的使用这个资源池,则难免会发生资源争抢的情况,而有些重要的业务线(项目),需要优先分配更多的计算资源;
- 团队开发人员的水平参差不齐,一个性能比较差的查询很可能影响到多个项目的任务,我们目前是每个项目一个quota,min的值设置的比较小;
- Max为最大分配的资源，Min为最小保障资源 , 如果要提高这个quota的优先级,可以增加Min的值

4. 寻找当前影响集群的任务(instance查询)

- 当发现集群较卡的时候,能通过instance查询,很快的找到当前影响集群的任务,找到运行者
- 这种情况一般是执行时间比较长的和CPU内存消耗比较多的任务是导致集群卡的主要原因,可以找到对应的项目,开发者等其他信息

最后提一个小细节的改进意见:系统状态可以对比历史的资源消耗,这样能更快的找出从什么开始增加或减少了或优化了某些任务后,资源的变化情况

微信关注我们

原文链接：https://yq.aliyun.com/articles/594206

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute Studio 使用入门

MaxCompute Studio 是MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境工具，是一套基于流行的集成开发平台IntelliJ IDEA的开发插件，可以帮助您方便地进行数据开发。下面我们一起来看一看Studio的简单用法。用户登录 Studio提供用户登录功能。常规登录入口在Intellij toolbar中右上角的Sign In。登录完成后可直接使用答疑机器人、添加D2项目、同步D2等功能。答疑机器人点击右侧“FAQ Robot”按钮，进入答疑机器人页面，如下图所示。答疑机器人支持自助答疑和人工答疑两种方式，支持图片和文件上传，如果对自助答疑的结果不满意，可以在聊天框发送“人工”呼叫ODPS值班同学。或者直接发送图片或文件唤起人工服务。资源管理 Studio 的一大核心功能就是浏览 MaxCompute 项目空间（Project）的资源，包括Table、UDF、Resource等。为了能够在 Studio 中访问它们，以及其它很多功能，我们首先需要在新建项目连接。在Project Explorer中点击"+"添加连接，目前Studio支持同步D...

2018-05-17

541

版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80366134 我的原创地址：https://dongkelun.com/2018/05/17/sparkKafka/ 前言首先要安装好kafka,这里不做kafka安装的介绍,本文是Spark Streaming入门教程，只是简单的介绍如何利用spark 连接kafka，并消费数据，由于博主也是才学，所以其中代码以实现为主，可能并不是最好的实现方式。 1、对应依赖根据kafka版本选择对应的依赖，我的kafka版本为0.10.1，spark版本2.2.1,然后在maven仓库找到对应的依赖。（Kafka项目在版本0.8和0.10之间引入了新的消费者API，因此有两个独立的相应Spark Streaming软件包可用） <dependency> <groupId>org.apache.spark</groupId> <ar...

2018-05-17

635

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。