MaxCompute Studio使用心得系列1——本地数据上传下载-低调大师

MaxCompute Studio使用心得系列1——本地数据上传下载

2017-10-25 641

MaxCompute Studio已经发布好久，一直没能好好体验，近期MaxCompute Studio 陆续推出很多好用的功能，今天开始给大家分享使用心得。

用过大数据开发套件的同学，对于本地数据上传下载，都会遇到这样的问题：

‘导入本地数据’功能，限制本地数据文件大小最大为10MB；
查询结果导出本地时，由于select语句返回结果最大为10000行的限制，最多只能导出1W数据；
数据导出本地文件的功能只有‘查询结果导出本地’。

要解决以上问题，通常都是需要自己安装console客户端，通过tunnel命令进行导入导出。

现在来分享使用MaxCompute Studio工具界面，可以更轻松完成tunnel命令能完成的本地数据导入导出工作。

MaxCompute Studio工具安装请参考文档安装 IntelliJ IDEA、安装MaxCom

微信关注我们

原文链接：https://yq.aliyun.com/articles/227424

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive中分区表和桶

Hive分区表在hive Select 查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作.有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念.分许表指的是在创建表时指定的partition的分区空间. Hive可以对数据按照某列或者某些列进行分区管理,所谓分区我们可以拿下面的列子进行解释. 当前互联网应用每天都要存储大量的日志文件.几G.十几G甚至更大都是有可能的.存储日志,其中必然有个属性是日志产生的日期.在产生分区时,就可以按照日志产生的日期列进行划分.把每一天的日志当做一个分区.将数据组织成分区,主要可以提高数据的查询速度.至于用户存储的每一天记录到底放到那个分区,由用户决定.即用户在加载数据的时候必须显示制定该部分数据放到那个分区. 实现细节一个表可以拥有一个或者多个分区每个分区一文件夹的形式单独存储在表文件夹的目录下.表和列名不区分大小写分区是以字段的形式在表结构中存在.通过describe table 命令可以查看到字段存在. 语法创建一个分区表以ds 为分区列create table invites (id int, name st...

2017-10-25

597

java操作elasticsearch使用QueryBuilders进行数据查询

/** * 系统环境: vm12 下的centos 7.2 * 当前安装版本: elasticsearch-2.4.0.tar.gz */ QueryBuilder 是es中提供的一个查询接口, 可以对其进行参数设置来进行查用擦还训 package com.wenbronk.javaes; import java.net.InetSocketAddress; import java.util.ArrayList; import java.util.Iterator; import java.util.Map.Entry; import org.elasticsearch.action.ListenableActionFuture; import org.elasticsearch.action.get.GetRequestBuilder; import org.elasticsearch.action.get.GetResponse; import org.elasticsearch.action.search.SearchResponse; import org.elasticse...

2017-10-26

887

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。