云上大数据系列1:手把手教你何如在ECS上搭建Hadoop开发测试环境(CDH版)
本篇是云上大数据系列第一篇文章,主要介绍开发测试环境的搭建。在后续的文章中,我们还将会分享更多关于云上大数据系统的性能分析和调优经验,敬请期待。 大数据系统是典型的复杂分布式系统,搭建一套大数据系统不但需要大量的资源,还需要对大数据系统本省有一定的了解。云计算的普及使得大数据系统的快速部署,甚至一键部署成为可能。笔者在阿里云上尝试搭建了一套大数据系统,将部署的过程和大家分享一下。 资源环境:ecs.d1.6xlarge × 5 软件系统:CDH 5.14.2 操作系统:CentOS 7.3 以下教程基于Cloudera官方教程,结合笔者实际部署过程中遇到的问题编写而成。读者在实践的过程中可以将本文和官方教程结合来参考。官方教程点这里查看。 教程特点(做好心理准备):需要下载 cloudera-manager-daemons 包(744M),cloudera-manager-agent 包(788M),下载过程比较慢,且中途容易出错,需要多次重试。如果对上述部署方式不满意,还可以尝试官方的第三种方式(预下载安装包并手动安装):https://www.cloudera.com/docume...