DataWorks如何将shell任务运行在自定义资源组上-低调大师

DataWorks如何将shell任务运行在自定义资源组上

2018-09-27 586

在进行数据开发中，有很多时候需要使用shell 来调用其他语言。但是在DataWorks上，底层的机器运行任务时都会有沙箱限制，沙箱会限制网络访问和禁止本地IO读写等等，会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境（自己的机器上）呢。

我们可以将任务的运行环境预先在某台机器上准备好，然后将任务指定在这台机器上运行。

注：目前只有华东2支持将shell任务运行在自定义资源组上。

新增自定义资源组，这部分可以直接查看DataWorks的官网文档新增资源组，本文不多做赘述。
准备任务运行环境，用户自行准备。
编写任务代码。
将任务指定在新增的资源组上运行。

微信关注我们

原文链接：https://yq.aliyun.com/articles/646010

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里关涛谈大规模计算—从数字化阿里到数字化城市的进化

在刚刚结束的2018杭州云栖大会上，阿里巴巴通用计算平台负责人，阿里巴巴计算平台资深技术专家关涛从计算力，联合计算，智能化，企业级服务能力四个方面详细介绍阿里巴巴统一的超大规模数据计算平台MaxCompute的探索与实践。从数字化阿里巴巴，到数字化企业，再到数字化城市，MaxCompute快速进化，加速科技普惠, 驱动数字中国。关涛现场演讲视频回放>>> 飞天2.0 MaxCompute是阿里巴巴在9年前做飞天系统的三大件之分布式计算部分。9年后的今天，MaxCompute已经是可以承载EB级的数据存储能力，百PB级的单日计算能力，公共云覆盖国内外十几个国家和地区，专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。阿里巴巴集团副总裁周靖人在本次云栖大会接受采访时称，阿里巴巴从2008年就开始做大数据

2018-09-27

545

2018年5月底，MaxCompute 开启大数据计算技术共享计划技术公开课，不知不觉已经走过了三季，有超过1.3万名用户以及大数据爱好者参与到直播学习中来。阿里巴巴十年磨一剑的大数据计算平台MaxCompute引领越来越多的企业和开发者们走近大数据。因为计算的价值远不止于计算本身，而是可以带给我们更多洞察和更强驱动。来吧~一起看看第三季的技术干货有哪些？这里就是第三季全家桶，快往下看吧~如果你期待有下一季直播，欢迎在本贴留言，我们希望给出的刚好是你想要~ 第三季技术干货 1、MaxCompute2.0新功能介绍 — 9月4日秋鹏阿里巴巴计算平台高级技术专家摘要：介绍MaxCompute全新的SQL 2.0引擎在编译器，优化器，运行时提供的新技术实现高性能与低成本，非结构化数据处理框架与生态连接能力等内容。分享内容文字稿直播视频

2018-09-28

617

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。