云上大数据系列1：手把手教你何如在ECS上搭建Hadoop开发测试环境（CDH版）
本篇是云上大数据系列第一篇文章，主要介绍开发测试环境的搭建。在后续的文章中，我们还将会分享更多关于云上大数据系统的性能分析和调优经验，敬请期待。 大数据系统是典型的复杂分布式系统，搭建一套大数据系统不但需要大量的资源，还需要对大数据系统本省有一定的了解。云计算的普及使得大数据系统的快速部署，甚至一键部署成为可能。笔者在阿里云上尝试搭建了一套大数据系统，将部署的过程和大家分享一下。 资源环境：ecs.d1.6xlarge × 5 软件系统：CDH 5.14.2 操作系统：CentOS 7.3 以下教程基于Cloudera官方教程，结合笔者实际部署过程中遇到的问题编写而成。读者在实践的过程中可以将本文和官方教程结合来参考。官方教程点这里查看。 教程特点（做好心理准备）：需要下载 cloudera-manager-daemons 包（744M），cloudera-manager-agent 包（788M），下载过程比较慢，且中途容易出错，需要多次重试。如果对上述部署方式不满意，还可以尝试官方的第三种方式（预下载安装包并手动安装）：https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_install_path_c.html#cmig_topic_6_7 第一步：购买ECS资源： 在阿里云官方网站上购买5台规格为ecs.d1.6xlarge的机器。注意两点： 修改机器名称以区分不同的角色：1台 master，4台 worker，例如cdh-m1, cdh-w1, cdh-w2, cdh-w3, cdh-w4； 点击下单前选择密码登录，并记住登录密码。 第二步：简单配置集群 为所有结点设置免密登录（百度搜索“ssh免密登录”） 修改所有结点 hostname ： hostname cdh-m1 并同步修改 /etc/hostname 文件 (optional) 为所有结点配置pdsh，方便批量操作。pdsh的基本命令： pdsh -w cdh-w[1-4] cmd （可以放在第四步的间隙来做）配置本地数据盘（格式化，挂载，开启自动挂载） 点击这里下载 format.sh脚本。 for i in {1..4}; do scp format.sh root@cdh-w$i:/root; done pdsh -w cdh-w[1-4] bash /root/format.sh 检查一下是否配置成功（输出为所有 worker 结点本地盘数量总和，4结点是48）： pdsh -w cdh-w[1-4] df -h | grep "5.1T" | wc -l 其中“5.1T”为数据盘大小，可以根据本地数据盘做修改。 第三步：安装基础服务 登录到 master 结点，安装 MySQL ：详细教程点击这里。对照教程，完成： 配置 my.cnf（只需要照着它的推荐配置配就可以了）; 备份 ib_logfile； 修改 root 用户登录密码； 添加到开机自启动； 下载 jdbc； 创建一些数据库：在 MySQL 中执行脚本：create_databases.sql。点击这里下载脚本。 配置Cloudera源：下载（点击下载）并将 cloudera-manager.repo 文件拷贝到 /etc/yum.repos.d/ 安装jdk-1.7：(下载速度较慢，15min) sudo yum install oracle-j2sdk1.7 第四步：安装CDH 安装 Cloudera Manager Server Packages：（下载速度较慢，中途可能失败，需要反复重试，利用这个时间空隙，可以完成第二步第4小步） sudo yum install cloudera-manager-daemons cloudera-manager-server 为 Cloudera Manager 配置本地数据库： 在 MySQL中创建一个服务于 cloudera manager 的数据库，起名叫 cloudera_manager （小写）： create database cloudera_manager DEFAULT CHARACTER SET utf8; 连接到该数据库： /usr/share/cmf/schema/scm_prepare_database.sh mysql cloudera_manager root password 启动 Cloudera Manager Server： sudo service cloudera-scm-server start 在浏览器中打开 http://cdh-m1:7180，此时无响应，需要做端口映射：详细教程可以点击这里了解更多。 我的做法：开两个命令窗口，分别跑两个进程： ssh -i id_rsa -ND 7180 root@cdh-m1 其中“7180”是准备映射的端口。 /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server="socks5://localhost:7180" --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" --user-data-dir=/tmp/ 刷新刚才的页面：http://cdh-m1:7180，用户名和密码都是admin。按照提示开始安装过程。由于每台机器都需要安装 jdk 和 cloudera-manager-agent，这两个包的下载速度非常慢，过程可能长达数小时。需要提前做好心里准备（其他准备也做不了）。安装过程中需要注意几个问题： 在主机检查阶段，确保所有项目都checked，如果没有，按照提示逐一修复； 在服务选择阶段，可以自定义服务，根据需要选择相应的服务，而无需选择所有服务。也可以直接选择所有服务，安装完成后手动停掉不需要的服务，我选择了所有服务（后来我又把不需要的服务都手工删掉了，衰）； 在数据库连接阶段，打开 create_databases.sql 文件，并对照填写相应的内容；如果在上一步中选择了 Hue 和 Oozie 服务，那么这里需要为这两个服务配置相应的数据库，详细教程见这里： Hue：https://www.cloudera.com/documentation/enterprise/5-13-x/topics/hue_dbs_mysql.html#hue_dbs_mysqlOozie：https://www.cloudera.com/documentation/enterprise/5-13-x/topics/install_oozie_ext_db.html#admin_oozie_ext_db 如果配置 Oozie 的时候需要JDBC，那么建立软链： ln -s /usr/share/java/mysql-connector-java.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/mysql-connector-java.jar 停止或者删除不需要的服务，并根据 Cloudera Manager 的建议，修复一些其他问题。 第五步：验证安装是否成功： 登录到 master 结点，以 hive 用户连接到 HiveServer2 ： beeline -u "jdbc:hive2://localhost:10000/default" -n hive 创建一张叫 table_name 的 ORC 事务表： CREATE TABLE table_name (id int, name string) CLUSTERED BY (id) INTO 2 BUCKETS STORED AS ORC TBLPROPERTIES ("transactional"="true", "compactor.mapreduce.map.memory.mb"="2048", "compactorthreshold.hive.compactor.delta.num.threshold"="4", "compactorthreshold.hive.compactor.delta.pct.threshold"="0.5" ); 插入一条记录并读取： insert into table_name(id, name) values('1', 'Alex'); select * from table_name; 验证 Hive-on-Spark 是否正常： set hive.execution.engine=spark; select count(*) from table_name; 如果输出的结果为1， 那么表明安装正常。 到此为止，我们已经成功在ECS上搭建起了一套大数据系统。
