搭建hadoop集群前期准备

2018-02-05 672

一、搭建六台虚拟机

六台虚拟机一台作为主节点，4台作为从节点，一台作为客户机

二、配置网络

1. 打开VMware菜单栏的编辑选项卡，打开虚拟网络编辑器

3fa0345c152451c02fdacfa5cdf71bea7829f00d

2.查看VMnet8的信息，网络类型选择NET模式，查看子网IP（测试机）：192.168.120. DHCP选择框全部选中

79e5c6b39070fc8b93c88699b4c2ebe77a04e8cb

3.配置/etc/sysconfig/network-scripts/ifcfg-ens33 配置文件编写如下（以master节点为例）：

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0ba00b10-d901-4920-903e-7556378a58c0"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY="192.168.120.2"
IPADDR="192.168.120.28"
NETMSAK="255.255.255.0"
DNS1="192.168.120.2"

0ea499e735d82ba40c3a6a4d1c24777bcd665ece

4.保存文件，重启网卡，systemctl resatrt network.service。尝试ping通集群和外网。

970551e7e79d3ccba37c84fc325dca1ef16e40e9

5.其他节点同理

三、配置ssh互信

1.设置用户文件，打开/etc/hosts。加入集群的ip地址和主机名（起的名字，和hostname不一定一样）

c650eb478670c648c810f5f72b39d6b592f28a9c

保存退出 2.建立循环变量a.txt，用for循环讲hosts文件拷贝到集群其他机器上。 for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done; 注：普及一下scp命令。例如：scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用，拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。 3.获取master的密钥 ssh-keygen 设置免密登陆，即密码为空，直接回车即可。 4.将master获取的公钥传给从节点 ssh-copy-id slave1（设备名） 5.用ssh 设备名 检测是否可以ssh远程登陆

四、关闭防火墙

1、关闭防火墙（重启后恢复）：systemctl stop firewalld.service 2、禁止防火墙开机启动：systemctl disable firewalld.service

五、关闭selinux

1、临时关闭（不用重启）：setenforce 0 2、永久关闭（需要重启生效）：编辑/etc/selinux/config文件将SELINUX=enforcing改为SELINUX=disabled

474748e99706dbf102b867194683be23e03829ce

3、查看selinux状态： [root@master ~]# getenforce Permissive 4、修改所有节点的selinux

六、修改主机名

1、查看主机名：hostname 2、更改主机名：hostnamectl set-hostname 主机名

七、安装jdk

1、查看当前的openjdk信息：rpm -qa|grep openjdk 2、删除所有openjdk：rpm -e --nodeps XXX 3、下载rpm包（也可用for循环统一拷贝） 4、安装jdk：rpm -ivh jdk-8u101-linux-x64.rpm 5、查看jdk路径（默认路径在/usr/java中）：find / -name java* 6、配置环境变量（按照自己的jdk版本配置）：vim /etc/profile JAVA_HOME=/usr/java/jdk1.8.0_101/ export JRE_HOME=/usr/java/jdk1.8.0_101//jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 7、查看jdk是否安装成功，版本一致则安装成功：java -version 8、从节点同理配置

八、重启机器

ps：第一次写博客，有点小激动，如有错误，还请多多指正QAQ

微信关注我们

原文链接：https://yq.aliyun.com/articles/435321

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java编程思想学习录（连载之：异常）

Thinking in java系列博文目录： Java编程思想学习录（连载之：一切都是对象） Java编程思想学习录（连载之：初始化与清理） Java编程思想学习录（连载之：内部类） Java编程思想学习录（连载之：异常）本篇文章将讲述关于异常的相关知识基本概念 Java使用异常来提供一致性的错误报告模型；且可集中错误处理；且任务代码与异常代码分割开来，易于理解和维护虽然异常处理理论有终止模型、恢复模型两种，但恢复模型很难优雅地做到，∴并不实用，实际中大家都是转向使用终止模型代码一个异常抛出后发生的两件事：① 使用new在堆上创建异常对象；② 异常处理机制开始接管流程（当前的执行流程被终止）标准异常类均有两个ctor：① default ctor； ② 带字符串参数的ctor Throwable是异常类型的根类 catch异常时，try中抛出的是子类异常，但catch的是基类异常也是OK，但若catch子类异常和基类异常的子句同时存在时，应将基类catch子句放在后面避免“屏蔽”现象发生抛出异常 + 捕获异常抛出异常（throw）： if( t==null ) thro...

2018-02-06

611

前言这篇文章适合所有的想微信小程序开发新手、老鸟以及想准备学习开发微信小程序的程序猿。本文以开发一个类似"语音口令红包“小程序为例，向您讲解如何使用阿里云函数计算快速构建微信小程序的服务端。通过本文，您将会了解以下内容: demo概览传统服务器架构 VS Serverless架构 Serverless架构详解 demo开发配置步骤 demo概览在本教程中，我们讲解如何利用函数计算一步一步来构建微信小程序的server端，其中小程序参考"口令红包", 实现一个简单版本，该demo中可以展示口令生成，口令转发，口令语音验证。微信语音红包小程序是基于微信小程序而开发的语音红包，发起者可以写下想要让别人说的话（口令），并且将钱塞入此红包中，其他用户只要读出这句话（口令）就可以获得红包。语音红包可以发到特定的好友、微信群以及朋友圈，朋友需要根据文字

2018-02-06

637

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。