DataWorks如何将shell任务运行在自定义资源组上
在进行数据开发中,有很多时候需要使用shell 来调用其他语言。但是在DataWorks上,底层的机器运行任务时都会有沙箱限制,沙箱会限制网络访问和禁止本地IO读写等等,会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境(自己的机器上)呢。
我们可以将任务的运行环境预先在某台机器上准备好,然后将任务指定在这台机器上运行。
注:目前只有华东2支持将shell任务运行在自定义资源组上。
- 新增自定义资源组,这部分可以直接查看DataWorks的官网文档新增资源组,本文不多做赘述。
- 准备任务运行环境,用户自行准备。
- 编写任务代码。
- 将任务指定在新增的资源组上运行。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里关涛谈大规模计算—从数字化阿里到数字化城市的进化
在刚刚结束的2018杭州云栖大会上,阿里巴巴通用计算平台负责人,阿里巴巴计算平台资深技术专家关涛从计算力,联合计算,智能化,企业级服务能力四个方面详细介绍阿里巴巴统一的超大规模数据计算平台MaxCompute的探索与实践。从数字化阿里巴巴,到数字化企业,再到数字化城市,MaxCompute快速进化,加速科技普惠, 驱动数字中国。 关涛现场演讲视频回放>>> 飞天2.0 MaxCompute是阿里巴巴在9年前做飞天系统的三大件之分布式计算部分。9年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。 阿里巴巴集团副总裁周靖人在本次云栖大会接受采访时称,阿里巴巴从2008年就开始做大数据
- 下一篇
【干货集锦】大数据计算技术共享计划 — MaxCompute技术公开课第三季
2018年5月底,MaxCompute 开启大数据计算技术共享计划技术公开课,不知不觉已经走过了三季,有超过1.3万名用户以及大数据爱好者参与到直播学习中来。阿里巴巴十年磨一剑的大数据计算平台MaxCompute引领越来越多的企业和开发者们走近大数据。因为计算的价值远不止于计算本身,而是可以带给我们更多洞察和更强驱动。 来吧~一起看看第三季的技术干货有哪些?这里就是第三季全家桶,快往下看吧~如果你期待有下一季直播,欢迎在本贴留言,我们希望给出的刚好是你想要~ 第三季技术干货 1、MaxCompute2.0新功能介绍 — 9月4日 秋鹏 阿里巴巴计算平台 高级技术专家摘要:介绍MaxCompute全新的SQL 2.0引擎在编译器,优化器,运行时提供的新技术实现高性能与低成本,非结构化数据处理框架与生态连接能力等内容。 分享内容文字稿 直播视频
相关文章
文章评论
共有0条评论来说两句吧...