MaxCompute_2_MaxCompute数据迁移文档-低调大师

MaxCompute_2_MaxCompute数据迁移文档

2017-03-02 613 89

免费开通大数据服务：https://www.aliyun.com/product/odps

乍一看标题会以为是不是作者写错了，怎么会有从MaxCompute到MaxCompute迁移数据的场景呢？在实际使用中已经有客户遇到了这种场景，比如：两个网络互通的专有云环境之间数据迁移、公共云数加DataIDE上两个云账号之间数据迁移、还有网络不通的两个MaxCompute项目数据迁移等等，下面我们逐个场景介绍。

场景一：两个网络互通的专有云MaxCompute环境之间数据迁移

这种场景需要先从源MaxCompute中导出元数据DDL，在目标MaxCompute中初始化表，然后借助DataX工具完成数据迁移，步骤如下：

1. 安装配置ODPS客户端

https://help.aliyun.com/document_detail/2

微信关注我们

原文链接：https://yq.aliyun.com/articles/71329

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-03-03 00:00:00

HDFS扩展属性

原文：http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html 概述扩展属性（简写为xattrs）是一个文件系统的特性，它允许用户程序用一个文件或目录关联额外的元数据。不同于系统级的inode元数据比如权限或修改时间，扩展属性不会被系统解释，它是用来被应用程序解读并存储inode额外信息的。扩展属性用来存储比如一个文本文档的编码信息。 HDFS扩展属性 HDFS的扩展属性是依照Linux的扩展属性来建模的（参见Linux帮助手册attr（5）和相关文档）。一个扩展属性就是一个名值对，包含一个字符串名字和一个二进制值。扩展属性名必须依照一个特定的命名空间前缀命名。比如，一个叫做myXattr的属性名必须声明为us

741

2017-03-03 00:00:00

hive-数据倾斜解决详解

hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案１、join的key值发生倾斜，key值包含很多空值或是异常值这种情况可以对异常值赋一个随机值来分散key 如： selectuserid,name fromuser_info a join( selectcasewhenuseridisnullthencast(rand(47)*100000as int) elseuserid fromuser_read_log )bona.userid=b.userid 通过rand函数将为null的值分散到不同的值上，在key值比较就能解决数据倾斜的问题注：对于异常值如果不需要的话，最好是提前过滤掉，这样计算量可以大大减少 2、当key值都是有效值时，解决办法为设置以下几个参数 set hive.exec.reducers.bytes.per.reducer = 1000000000 也就是每个节点的reduce 默认是处理1G大小的数据，如果你的...

560

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。