MaxCompute Studio 使用入门
MaxCompute Studio 是MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,可以帮助您方便地进行数据开发。下面我们一起来看一看Studio的简单用法。
用户登录
Studio提供用户登录功能。常规登录入口在Intellij toolbar中右上角的Sign In。登录完成后可直接使用答疑机器人、添加D2项目、同步D2等功能。
答疑机器人
点击右侧“FAQ Robot”按钮,进入答疑机器人页面,如下图所示。答疑机器人支持自助答疑和人工答疑两种方式,支持图片和文件上传,如果对自助答疑的结果不满意,可以在聊天框发送“人工”呼叫ODPS值班同学。或者直接发送图片或文件唤起人工服务。
资源管理
Studio 的一大核心功能就是浏览 MaxCompute 项目空间(Project)的资源,包括 Table、UDF、Resource 等。为了能够在 Studio 中访问它们,以及其它很多功能,我们首先需要在新建项目连接。在Project Explorer中点击"+"添加连接,目前Studio支持同步D2项目和通过accessId/Key添加项目连接。
建立项目空间连接后,可以浏览Table&View、Function、Resource等项目资源,双击对应的元素可以在Intellij中查看资源详情。
Table
双击打开某个table,如下图所示。有两个tab页面,“表信息”页面如下如所示,该页面展示table的基本信息、schema信息,提供数据预览功能。
Functions
Resources
SQL编辑器与作业提交
作业详情
graph页面
时序图
详情页
作业分析页面
作业队列
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
教你如何成为Spark大数据高手
Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手?下面就来个深度教程。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位。 分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎,今天的已经资讯上传到群文件,不定期分享干货, 伴随Spark技术的普及推广,对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热,轻而易举可以拿到百万的薪酬。而要想成为Spark高手,也需要一招一式,从内功练起:通常来讲需要经历以下阶段: 第一阶段:熟练的掌握Scala语言 Spark框架是采用Scala语言编写的,精致而优雅。...
- 下一篇
使用cu管家管理Maxcompute多项目
使用cu管家管理Maxcompute多项目 我们在maxcompute的实际使用中,采用了多项目的方式,具体可参看之前写的一篇博客:MaxCompute多团队协同数据开发项目管理最佳实践虽然有很多优点,但是实际使用过程中还需要maxcompute管家来配合管理这些项目: 1. 各个项目资源监控 能够一目了然的看到每个项目使用资源的情况 每个时段计算资源和存储资源的使用情况,有利于我们发现一些性能比较差的任务 如图红框的那个时段可能会有性能较差的任务 2. 错峰运行(系统状态) 会有这样的一些任务:运行时间比较长,消耗资源比较大,但是产出时间不需要那么及时,这时候我们可以将这些任务定时在自己资源相对比较空闲的时段运行 如图:类似的任务可放在17点半以后执行 3. 计算资源分配和隔离(Quota设置) 对于计算资源使用比较大的用户来说,显然购买预付费资源要划算很多,如果所有项目都平等的使用这个资源池,则难免会发生资源争抢的情况,而有些重要的业务线(项目),需要优先分配更多的计算资源; 团队开发人员的水平参差不齐,一个性能比较差的查询很可能影响到多个项目的任务,我们目前是每个项目一个quot...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果