yum cdh4
cdh4 install for Centos6
那个最美的年代,最好的时光,一路梦想,一路流泪,流的不会是懦弱的泪,而是对奋斗的寄于;
1,repo配置
>>>/etc/yum.repo/wget http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/cloudera-cdh4.repo
或是wget archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
yum --nogpgcheck localinstall cloudera-cdh-4.x86_64.rpm
2,添加Repository key for Centos6
rpm --import http://archive.cloud.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
3,yum 安装cdh相关daemons在相关master,slaves上命令,此时未考虑HA;
默认MRv1,MRv2(YARN)未考虑
where to install install commands
JobTracker:
yum -y install hadoop-0.20-mapreduce-jobtracker;
NameNode:
yum -y install hadoop-hdfs-namenode
SecondaryNameNode:
yum -y install hadoop-hdfs-secondarynamenode
DataNode,TaskTracker:
yum -y install hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode
Client hosts:
yum -y install hadoop-client
MRv1版本yum部署
yum.repos.d]# yum -y install hadoop-0.20-mapreduce-jobtracker hadoop-hdfs-namenode hadoop-hdfs-secondarynamenode hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode hadoop-client
MRv2 即 YARN:
Resource Manguager(analogous MRv1 JobTracker):
yum -y install hadoop-yarn-resourcemanager
yum -y install hadoop-hdfs-namenode
yum -y install yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce
yum -y install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver
MRv2(YARN)与MRv1 yum Install区别
Resource Manager host
yum -y install hadoop-yarn-resourcemanager
NameNode host
yum -y install hadoop-hdfs-namenode
SecondaryName host
yum -y install hadoop-hdfs-secondarynode
All cluster host except Resource Manager
yum -y install hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce
one host in the cluster
yum -y install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver
可选项:
1,LZO(压缩算法,具体见google)
wget http://archive.cloudera.com/gplextras/redhat/6/x86_64/gplextras/cloudera-gplextras4.repo 到/etc/yum.repo/
yum -y install hadoop-lzo-cdh4

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Enterprise Suse运维
1,Suse CDH4安装 wget archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm cloudera-cdh4.repo内容 [cloudera-cdh4] name=Cloudera's Distribution for Hadoop, Version 4 baseurl=http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/ gpgkey = http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera gpgcheck = 1 suse包管理工具zypper 与 yast;Ubuntu dpkg 与 apt; lsblk 列出所有的块设备,而且还能显示他们之间的依赖关系 参数: -a, --all 显示所有设备-b, --bytes 以bytes方式显示设备大小-d, --nodeps 不显示 slaves 或 ...
- 下一篇
CDH ecosystem components
1,Mahout ASF(Apache Software Foundation)开源项目,提供可扩展的`机器学习`--(ML,Machine Learning多领域交叉学科,涉及概率,统计,逼近,凸分析,算法复杂度等多门学科,专门研究计算机怎么模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,是人工智能的核心,是计算机具有智能的根本途径,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域)领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序; 2,Snappy 高速压缩解压缩开发包 ,类似LZO,压缩解压缩速度高,压缩率相对其他压缩库-zlib、LZO、LZF、FastLZ和QuickLZ低下,本身它的定位就是PB级大数据量压缩; 3,Apache Whirr 提供了一组 Java 类库用来运行云服务,基于 jclouds 开发 jclouds 是一个开源的Java类库,用来帮你开始云计算应用开发,并可重用已有的Java和Clojure技能。该API提供云计算环境的可移植抽象层以及云规范特性,支持包括 Amazon,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7设置SWAP分区,小内存服务器的救世主
- Hadoop3单机部署,实现最简伪集群
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题