自建Hadoop数据迁移到阿里云EMR-低调大师

自建Hadoop数据迁移到阿里云EMR

2020-01-08 789

作者：云魁、连辙

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据，或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践：

基于IPSec VPN隧道 + DistCp（Hadoop原生工具），将数据迁移到阿里云EMR集群，目标存储包括HDFS，阿里云OSS和阿里云EMR的Jindo

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：

方案优势

安全性
基于IPSec VPN/专线的方式进行数据安全传输。
低成本
在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势，同时阿里云EMR可以使用OSS作为底层存储空间，进一步降低成本。

在进行本文操作之前，您需要完成以下

微信关注我们

原文链接：https://yq.aliyun.com/articles/742132

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国产UOS操作系统安装要求曝光 C盘空间至少64GB

此前国产OS系统比较分散，现在有了一个名为UOS的统一操作系统，它是深度及迈诚科技为主体的合资公司统信软件打造的，还有中兴、CEC中国电子等合作伙伴。国内的信息产业存在的问题就是缺芯少魂，缺芯大家都理解，少魂则是指操作系统，在这方面微软Windows、谷歌安卓、苹果iOS/Mac OS各有优势，国内只有开源Linux这个选择了，不过各自为战，而UOS总算是开始集中力量统一推动国产OS。 UOS的目标是统一发布渠道、应用商店、UI、内核、文档及开发接口，并采用开源社区的方式吸引产业链上下游共同支持UOS系统，也会支持国内外各种CPU处理器。 UOS会基于深度科技的Deepin OS，目前的版本是v15，下一个版本就是Deepin v20/UOS了，不过安装这个系统还是需要一定的门槛的。从网友测试的结果来看，安装过程中，UOS会要求预留64GB的系统盘空间，这个要求甚至比Windows 10的X64位还要高，后者也不过需要32GB。 Win10 64位系统也要求至少32GB的磁盘空间不过40GB空间需要并不代表真的占据这么多空间，安装后占据的空间只有8GB左右，可以说占用很低了，而4...

2020-01-09

611

本文来自Rancher Labs Rancher的理念是Run Kubernetes Everywhere，Rancher 2.3中许多重大更新，让这一理念的实现又向前一步。其中，最重要的两个特性是集成了Istio以及对Windows的支持。本文我们将主要讨论如何使用通过Rancher UI提供的Istio支持，并通过Kiali dashboard进行可视化。前期准备：正在运行的Kubernetes集群安装Rancher并导入该集群在本例中，我们将使用CIVO Cloud上的大型k3s托管集群，并且已经完成Rancher App的安装（在Civo Marketplace的Rancher应用程序将会在集群上安装Rancher，并将集群导入其中）。集群的设置可以参考以下步骤： https://medium.com/@SaiyamPathak/managed-k3s-is-it-a-thing-9397799c38a 启动集群之后，在集群创建过程中从marketplace选择Rancher进行安装。Civo将会启动Rancher server并导入集群。集群准备就绪后，你将能看到...

2020-01-09

811

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。