MaxCompute Studio使用心得系列1——本地数据上传下载-低调大师

MaxCompute Studio使用心得系列1——本地数据上传下载

2017-10-25 680

MaxCompute Studio已经发布好久，一直没能好好体验，近期MaxCompute Studio 陆续推出很多好用的功能，今天开始给大家分享使用心得。

用过大数据开发套件的同学，对于本地数据上传下载，都会遇到这样的问题：

‘导入本地数据’功能，限制本地数据文件大小最大为10MB；
查询结果导出本地时，由于select语句返回结果最大为10000行的限制，最多只能导出1W数据；
数据导出本地文件的功能只有‘查询结果导出本地’。

要解决以上问题，通常都是需要自己安装console客户端，通过tunnel命令进行导入导出。

现在来分享使用MaxCompute Studio工具界面，可以更轻松完成tunnel命令能完成的本地数据导入导出工作。

MaxCompute Studio工具安装请参考文档安装 IntelliJ IDEA、安装MaxCom

微信关注我们

原文链接：https://yq.aliyun.com/articles/227424

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive中分区表和桶

Hive分区表在hive Select 查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作.有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念.分许表指的是在创建表时指定的partition的分区空间. Hive可以对数据按照某列或者某些列进行分区管理,所谓分区我们可以拿下面的列子进行解释. 当前互联网应用每天都要存储大量的日志文件.几G.十几G甚至更大都是有可能的.存储日志,其中必然有个属性是日志产生的日期.在产生分区时,就可以按照日志产生的日期列进行划分.把每一天的日志当做一个分区.将数据组织成分区,主要可以提高数据的查询速度.至于用户存储的每一天记录到底放到那个分区,由用户决定.即用户在加载数据的时候必须显示制定该部分数据放到那个分区. 实现细节一个表可以拥有一个或者多个分区每个分区一文件夹的形式单独存储在表文件夹的目录下.表和列名不区分大小写分区是以字段的形式在表结构中存在.通过describe table 命令可以查看到字段存在. 语法创建一个分区表以ds 为分区列create table invites (id int, name st...

2017-10-25

644

/** * 系统环境: vm12 下的centos 7.2 * 当前安装版本: elasticsearch-2.4.0.tar.gz */ QueryBuilder 是es中提供的一个查询接口, 可以对其进行参数设置来进行查用擦还训 package com.wenbronk.javaes; import java.net.InetSocketAddress; import java.util.ArrayList; import java.util.Iterator; import java.util.Map.Entry; import org.elasticsearch.action.ListenableActionFuture; import org.elasticsearch.action.get.GetRequestBuilder; import org.elasticsearch.action.get.GetResponse; import org.elasticsearch.action.search.SearchResponse; import org.elasticse...

2017-10-26

919

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。