Hadoop的集群环境部署说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“手到擒来”的事情,但对于hadoop的初学者来说,hadoop集群环境的搭建着实压力不小。
网上关于hadoop集群环境搭建的文章有很多,可以说是“图文并茂”,对于新手而言即使步骤再详细,但看着这么多步骤,那么多的指令肯定是会觉得很繁琐的。毕竟都是从菜鸟一步一步过来的,记得当初做hadoop集群环境搭建真的是很烦琐。
目前国内的hadoop商业发行版虽然比较多,但是在集群环境的搭建方面基本都很类似或者是相同,指令多、步骤繁琐。有的时候觉得不免觉得很奇怪,这些发行商为什么不对hadoop的集群环境部署做一下优化呢?幸运的是总算是让我找到了一个hadoop发行版集群环境搭建简单易用。
这里使用的是一款国产的hadoop发行版,大快搜索推出的DKhadoop。集群环境的部署总体给我的感觉是比较简单易用,不像以前的一些发行版那么繁琐。下面就给大家以DKhadoop为例介绍一下这种简单易用的hadoop集群环境搭建。
1ã 为集群自定义一个名称:在安装集群组建之前安装程序需要对主机进行一些环境检查工作,DKhadoop需要root权限,并通过ssh链接到主机。
2ã 选择安装模式,安装模式有三种可以选择,分别是基础安装、完整安装和自定义安装。基本安装中包含的服务内容有:hafs-2.6.0的安装、JDK1.7.0_79安装、Yarn-2.6.0安装以及zooleeper-3.4.6安装
3ã 如果选择完整安装模式,则需要安装的服务内容会更多,详细可以的参考下方图示内容以及说明部分介绍。
4ã 自定义安装模式则可以自主的进行角色配置,通过对主机性能的检测DKhadoop会按照主机性能推荐相应的分配设置。
5ã 从上述3种安装模式中选择一个合适的模式后,点击右下角的【继续】将自动进行组建的安装,所有组建安装成功后也就完成了集群环境的部署。
这套DKhadoop的集群环境部署是已经被优化过的了,个人觉得简单易用。感兴趣的朋友可以自己去看一下!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new nat...
这个问题我去网上搜索了一下,发现了很多的解决方案都是增加的nproc数量,即用户最大线程数的数量,但我修改了并没有解决问题,最终是通过修改hadoop集群的最大线程数解决问题的。并且网络上的回答多数关于增加nproc的答案不完整,我这里顺便记录一下。 用户最大线程数可以通过linux下的命令 ulimit -a 查看,屏幕输出中的max user processes就是用户最大线程数,默认通常为1024. 修改这个参数的地方是在/etc/security/limits.conf以及/etc/security/limits.d/90-nproc.conf(可能这个文件的名字会不一样) /etc/security/limits.conf修改如下 * soft nofile 65536 * hard nofile 65536 xxx soft nproc 65535 xxx hard nproc 65535 其中 xxx表示启动hbase的用户,如使用hadoop启动hbase,则配置如下: hadoop hard nproc 65535 hadoop soft nproc 65535 这里...
- 下一篇
开源大数据周刊-第102期
资讯 重磅:Cloudera、Hortonworks 合并 ! 两家大数据先驱Cloudera和Hortonworks今天宣布了它们所谓的相对平等的合并,声称将把两家公司合并成一家年收入达7.2亿美元的新实体。 互联网之父开源「去中心化平台 Solid」,让用户掌控数据控制权 万维网之父 Tim Berners-Lee 爵士对今天的中心化 Web 非常不满,他想要拯救互联网,方法是重新去中心化。他正式宣布了新的开源去中心化平台 Solid ,源代码发布在 GitHub 上:https://github.com/solid。 Hadoop 衰败的 4 个原因 Cloudera和Hortonworks合并的这项交易意味着Hadoop市场再也维持不了两大竞争对手。多年来,Hadoop一直就是大数据的代名词,但市场和客户需求已然发生了变化,本文分析了
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker快速安装Oracle11G,搭建oracle11g学习环境