自建hadoop集群迁移到EMR之数据迁移篇

2018-01-17 590

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。

前置

已按需求创建好EMR集群。

迁移hdfs数据

主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

网络

需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

如果自建集群是经典网络，EMR集群是vpc，网络访问需要设置CLASSICLINK.参见文档,详情可以咨询ECS客服。

设置后可以在新集群节点上ssh 老集群节点确定网络连通情况，distcp操作如果有xx 节点无法连接xx节点的异常，说明没有连通，需要继续设置。

hdfs权限配置确认

hdfs有权限设置，确定老集群是否有acl规则，是否要同步，检查dfs.permissions.enabled 和d

微信关注我们

原文链接：https://yq.aliyun.com/articles/376161

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Alibaba Cloud MaxCompute Service Launches in India Accelerating Upgrad...

MaxCompute, Alibaba Cloud's big data computing service, is officially launched in India on January 18, 2018. With the aid of MaxCompute's powerful computing power, Alibaba Cloud will accelerate comprehensive upgrades in India's big data industry. As one of the few emerging markets in the world that can sustain a high growth rate in the internet industry, India is of st

2018-01-18

521

阿里巴巴少杰：大数据处理实践

2018年1月6日的云栖社区数据智能技术论坛上，来自阿里巴巴计算平台事业部高级技术专家少杰带来大数据处理的相关演讲。本文首先浅谈了大数据处理发展历程和MapReduce的诞生，以确定大数据处理系统的实现模式，接着重点分享了Maxcompute和飞天的架构实践，包括盘古伏羲和SQL查询，最后作了简要总结。以下是精彩视频内容整理：大数据处理和分布式技术大数据处理我们在数据中心的设置上，经历了三个阶段。80年代中期以前，我们是对于文件做处理的模式，只能处理KB-MB的数据；2010年以前，这是DataBase辉煌的年代，无论是开发信息平台还是互联网应用，都是以DataBase为中心的，比如Oracle、SQLserver、MySQL等，DataBase上也有很多生态系统，可以处理MB-GB级数据；随着数据量持续爆炸，传统DataBase很难支持下去，所以一批大数据处理平台应运而生，比如Hadoop、Spark、Flink等，可以处理100GB-PB级存储和计算。传统的大数据用例包括日志分析（网站被如何访问，货被如何移动）、商业智能和数据挖掘（人工智能算法）、图计算、检索、机器学习和...

2018-01-18

586

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。