关于公共云dataworks执行setproject命令问题小记
最近看到官网提供开发者版的Maxcompute的测试,赶紧开了一个试玩;
https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html?spm=5176.7944453.751670.btn16.21d652dfN2zpU3
但在如下测试中报错:
公共云dataworks 2.0版本测试setproject命令,保存提交的时候报提交任务和血缘关系不一致的情况;
这里我们不细纠这个问题,关于血缘关系以及调度依赖的内容参考如下链接:
https://help.aliyun.com/document_detail/89726.html?spm=a2c4g.11186623.6.652.67585d02t52UXJ
https://help.aliyun.com/document_detail/94780.html?spm=a2c4g.11186623.6.902.751172e7Yb5tWk
然后继续提交任务成功,并运行任务报错,任务提交失败的报错;
查看调度依赖如下,是使用的虚拟的root上游节点;
看起来没有任何的不妥的地方,可惜,任务运行一直抛错;
无奈,只能尝试添加一个select 1;语句测试是否是数据开发功能问题,还是语句的问题;
果然运行成功了,setproject的输出也打印了出来;
所以只能归结于数据开发界面对于Maxcompute的set类命令支持不友好;
所以赶紧找到了odpscmd的win版客户端装了上去验证一下是否正常;
https://help.aliyun.com/document_detail/27804.html?spm=a2c4g.11186623.2.13.59f7a95en2tecR
然后验证setproject命令正常;
而其中关于endpoint的地址参考官档连接:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11174283.6.585.1510590eW6VmBa
而logview地址参考logview输出的链接地址:
ak和sk是创建Maxcompute的project项目的时候创建出来的;
然后在bin目录下运行./odpscmd进入查询即可;
问题解决!!!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!
随着数据量的爆发,AI走上风口,典型的大数据业务场景下数据业务最通用的做法是:选用批计算的技术处理全量数据,采用流计算的技术处理实时增量数据。在生产环境中,用户通常采用批处理和流处理两套计算引擎来支持这两种场景。弊端就是需要写两套代码,维护两套引擎,毫无疑问,这种架构带来了额外的负担与成本。 面对全量数据和增量数据,能否用一套统一的大数据引擎技术来处理? Apache Flink 被业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。 如何
- 下一篇
支付宝技术风险负责人陈亮:把事情做到极致,技术的差异性才会体现出来 | 6月14号云栖夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.支付宝技术风险负责人陈亮:把事情做到极致,技术的差异性才会体现出来 “很多事情,说出来很多人都在做,但是只有真正做到极致,技术的差异性才会体现出来”,蚂蚁金服技术风险部研究员陈亮(花名:俊义)在接受 InfoQ 采访时如是说道。在此前的支付宝技术嘉年华,InfoQ 对支付宝数次技术架构升级的见证者及主导架构师陈亮进行了独家采访,首次系统了解稳定支撑“双十一”等多次实战背后的支付宝技术风险体系。阅读更多》》 2.从遇见到信任 | Apache Dubbo 的毕业之旅 一篇干货好文,值得一读!阅读更多》》 3.走进KeyDB KeyDB项目是从redis fork出来的分支。众所周知redis是一个单线程的kv内存存储系统,而KeyDB在100%兼容redis API的情况下将redis改造成多线程。阅读更多》》 4.容器服务kubernetes federation v2实践四:基于External-DNS的多集群Service DNS实践 External-DNS提供了编程方式管理Kubernetes Servic...
相关文章
文章评论
共有0条评论来说两句吧...