自建Hadoop数据迁移到阿里云EMR
作者:云魁、连辙
最佳实践概述
应用场景
客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践:
基于IPSec VPN隧道 + DistCp(Hadoop原生工具),将数据迁移到阿里云EMR集群,目标存储包括HDFS,阿里云OSS和阿里云EMR的Jindo
技术架构
本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:
方案优势
- 安全性
基于IPSec VPN/专线的方式进行数据安全传输。 - 低成本
在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势,同时阿里云EMR可以使用OSS作为底层存储空间,进一步降低成本。
在进行本文操作之前,您需要完成以下
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
国产UOS操作系统安装要求曝光 C盘空间至少64GB
此前国产OS系统比较分散,现在有了一个名为UOS的统一操作系统,它是深度及迈诚科技为主体的合资公司统信软件打造的,还有中兴、CEC中国电子等合作伙伴。 国内的信息产业存在的问题就是缺芯少魂,缺芯大家都理解,少魂则是指操作系统,在这方面微软Windows、谷歌安卓、苹果iOS/Mac OS各有优势,国内只有开源Linux这个选择了,不过各自为战,而UOS总算是开始集中力量统一推动国产OS。 UOS的目标是统一发布渠道、应用商店、UI、内核、文档及开发接口,并采用开源社区的方式吸引产业链上下游共同支持UOS系统,也会支持国内外各种CPU处理器。 UOS会基于深度科技的Deepin OS,目前的版本是v15,下一个版本就是Deepin v20/UOS了,不过安装这个系统还是需要一定的门槛的。 从网友测试的结果来看,安装过程中,UOS会要求预留64GB的系统盘空间,这个要求甚至比Windows 10的X64位还要高,后者也不过需要32GB。 Win10 64位系统也要求至少32GB的磁盘空间 不过40GB空间需要并不代表真的占据这么多空间,安装后占据的空间只有8GB左右,可以说占用很低了,而4...
- 下一篇
开箱即用!使用Rancher 2.3 启用Istio初体验
本文来自Rancher Labs Rancher的理念是Run Kubernetes Everywhere,Rancher 2.3中许多重大更新,让这一理念的实现又向前一步。 其中,最重要的两个特性是集成了Istio以及对Windows的支持。本文我们将主要讨论如何使用通过Rancher UI提供的Istio支持,并通过Kiali dashboard进行可视化。 前期准备: 正在运行的Kubernetes集群 安装Rancher并导入该集群 在本例中,我们将使用CIVO Cloud上的大型k3s托管集群,并且已经完成Rancher App的安装(在Civo Marketplace的Rancher应用程序将会在集群上安装Rancher,并将集群导入其中)。集群的设置可以参考以下步骤: https://medium.com/@SaiyamPathak/managed-k3s-is-it-a-thing-9397799c38a 启动集群之后,在集群创建过程中从marketplace选择Rancher进行安装。Civo将会启动Rancher server并导入集群。 集群准备就绪后,你将能看到...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS关闭SELinux安全模块
- CentOS7,CentOS8安装Elasticsearch6.8.6