Hadoop CDH版本安装和启动（CentOS7）-低调大师

Hadoop CDH版本安装和启动（CentOS7）

2020-05-16 660

Hadoop CDH版本安装和启动（CentOS7）

1、创建hadoop组和用户，useradd hadoop　　passwd hadoop　　groupadd hadoops　　usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。

2、下载hadoop版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 。（或者直接：wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz/ ，https://archive.cloudera.com/cdh5/cdh/5/ 这里hadoop生态圈其他的工具下载）

3、安装java1.8，解压jdk1.8的包，vi /home/hadoop/.bash_profile，然后添加环境变量

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH

测试：java -version ，成功。

4、配置ssh无密码登录，先输密码登录一次（创建.ssh文件）：ssh hadoop000（以后ip可能会变，所以都写成hadoop000，应先在/etc/hosts文件中添加host解析，解析到本机ip）。然后执行：ssh-keygen -t rsa来生成ssh的公钥和私钥，在.ssh目录下执行：cat id_rsa.pub >> authorized_keys，最后为authorized_keys文件更改为600权限即可：chmod 600 authorized_keys。

5、正式安装Hadoop，解压Hadoop的安装包到~/app：tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/app

a、配置hadoop/etc/hadoop/hadoop-env.sh下的JAVA_HOME（默认指向$JAVA_HOME，所以只要配置了环境变量就不用配置这里）。

b、配置hadoop/etc/hadoop/core-site.xml，配置默认的hadoop的文件系统指向哪里，标签中加入以下内容。

fs.defaultFS
hdfs://hadoop000:8020

c、配置hadoop的hdfs文件块的数量（因为学习环境，只配置成1块的就行，默认是3块）和临时文件的存放位置（文件系统的默认临时文件是存在/tmp，而linux每次重启会删掉/tmp中的文件，当然我们希望hadoop临时文件能自己操作删除与否），打开hdfs-site.xml，在中加入一下内容：

hadoop.tmp.dir
/home/hadoop/app/tmp

dfs.replication
1

d、配置hadoop从节点的ip，修改hadoop/etc/hadoop/slaves文件，该文件默认是localhost，改为hadoop001（hadoop001也一样先在/etc/hosts里面配置host解析，也解析到本机）

6、把hadoop配置到环境变量，同java配置步骤（改为HADOOP_HOME即可）；source一下环境变量的文件。

7、格式化文件系统，执行：hdfs namenode -format，然后启动文件系统，执行hadoop的sbin目录下面的start-dfs.sh，若提示没找到JAVA_HOME就回到步骤5-a去配置一下。可以单独启动和停止某种节点，如：hadoop-daemon.sh stop secondarynamenode。

8、最后输入jps验证，发现有nameNode等，启动成功。或者关闭防火墙后，打开http://192.168.159.40:50070，能进入文件系统，启动成功

原文地址https://www.cnblogs.com/bigdatadiary/p/12906794.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/761087

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016–2019年被利用比较多的10个漏洞

即将开播：5月20日，基于kubernetes打造企业级私有云实践 5月12日，美国国土安全部(DHS)网络安全和基础设施安全机构(CISA，Cybersecurity和Infrastructure Security Agency)和FBI联合发布了一份关于《2016年-2019年被利用最多的10个软件安全漏洞》的报告，督促相关机构应用必要的安全更新来预防当前常见的一些攻击方式。被利用比较多的10个漏洞报告指出过去4年里(2016年-2019年)被利用最多的10个安全漏洞是： CVE-2017-11882：影响Microsoft Office 2007 SP3/2010 SP2/2013 SP1/2016产品 CVE-2017-0199：影响Microsoft Office 2007 SP3/2010 SP2/2013 SP1/2016, Vista SP2, Server 2008 SP2, Windows 7 SP1, Windows 8.1 CVE-2017-5638：影响Apache Struts 2 2.3.32之前的 2.3.x版本和2.5.10.1之前的2.5.x版本...

2020-05-17

517

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！交通运输行业一直在不断发展，以提供更安全、更快、更清洁和更舒适的通勤。下一个重大的行业转变即将到来，物联网将引领发展潮流。物联网的潜力正在激发一波智能汽车和互联基础设施的浪潮。预计到2025年，全球智能交通市场的规模将达到2620亿美元，这要归功于车辆物联网的价值。但是，对于汽车制造商来说，收益并不能止于财务上的成功。它几乎改善了该行业的各个方面。辅助驾驶物联网在运输中很有前途的功能之一就是其安全潜力。使用物联网的智能交通将由相互通信的汽车组成，这将改善辅助驾驶功能，确保驾驶员安全。借助物联网推动的通信，车辆将获得道路上其他所有位置的实时数据。然后，该信息将使汽车在必要时能够刹车或转弯以避免碰撞。辅助驾驶功能已经在许多车辆中使用，但是物联网的互连性将使其更加准确。这种连接性也是无人驾驶汽车的关键。如果车辆可以连接到其他车辆及其周围的基础设施，则可以更有效地导航。没有物联网，安全可靠的自动驾驶汽车将无法实现。动态导航物联网提供的改进的导航对人类驾驶员也很有用。许多人依赖GPS...

2020-05-17

523

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。