首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/770606

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DataWorks使用Shell节点调用自定义资源组执行脚本

DataWorks使用Shell节点调用自定义资源组执行脚本背景描述:本文主要介绍DataWorks使用Shell节点调度自定义资源组执行Shell脚本,且使用该功能需要用户的DataWorks版本为企业版。文中主要内容包括配置自定义资源组,以及设置ECS的amdin用户权限,脚本模式使用MaxCompute客户端,并配置手动业务流程执行对应的Shell脚本在开发环境运行,检测其脚本执行的命令是否正确。该功能对于用户调度用户ECS上的的程序提供了便利,使其他的任务能和DataWorks的调度结合起来。 一、设置自定义资源组并配置权限ECS权限 1.1根据文档添加对应空间下的自定义资源组https://help.aliyun.com/document_detail/169950.html1.2查看添加的自定义资源组 1.3登陆添加为自定义资源组的ECS,建立对应目录,并给admin用户设置权限 目录下的odps_haudong为MaxCompute的客户端 upfile.txt内容为 chown -R amdin:admin /home 二、DataWorks新建Shell节点,并进行编...

X-Pack Spark用户手册

概述 X-Pack Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。X-Pack Spar兼容开源Spark,本文介绍的内素材以X-Pack Spark为背景。 大纲 基础篇 Spark的入门介绍 如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析. Spark 通用的性能配置方法:内存(executor-memory)和CPU(executor-cores)的配置。 Spark本地连接hbase集群做调试. Spark SQL语法介绍 Spark Streaming介绍 Structured Streaming介绍 Spark DataSource外部数据源介绍 进阶篇(高级功能) X-Pack Spark使用[FAQ] FAQ明细请参考:X-Pack Spark使用FAQ X-Pack Spark之性能优化 Spark Streaming 常见优化。 案例实战 广...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册