大数据服务器环境准备(三台服务)
@TOC
<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">
前言
<font color=#999AAA >本文主要记录大数据环境准备及hadoop和zookeeper集群搭建,服务器方面不缺钱可以直接买阿里云的ecs,这里用VmWare虚拟机作为示例。</font>
<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">
<font color=#999AAA >提示:以下是本篇文章正文内容,下面案例可供参考
一、 三台linux服务器的安装
1. 安装VmWare
-
VMWare虚拟机软件是一个“虚拟PC”软件,它使你可以在一台机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比,VMWare采用了完全不同的概念。
-
我们可以通过Vmware来安装我们的linux虚拟机,然后通过linux虚拟机来进行集群的安装,Vmware的安装双击之后,一路下一步即可,尽量不要装在操作系统盘里面了,Vmware的安装步骤省略。
2. 通过Vmware安装第一台linux机器
- 我们通过Vmware可以安装第一台我们的linux机器,接下来我们来看如何通过VMWare创建linux虚拟机,并给我们的虚拟机挂载操作系统
1:双击Vmware打开之后,点击创建新的虚拟机 2:选择自定义安装配置
3:选择稍后安装操作系统
5:选择安装路径,==尽量不要放在C盘,并且所在盘符的剩余空间尽量大些==
6:CPU核数,默认即可
7:虚拟机内存根据自身windows电脑进行调整 例如如果windows是8GB内存,那么每台虚拟机内存给2048M内存,如果windows是16GB内存,那么每台虚拟机可以给4096M内存即可(强烈建议16G,不然后面导大量数据的时候容易挂)
8:网络配置一定要选择==NAT==
9:磁盘大小尽量给40GB或以上
注意:千万==不要==勾选“立即分配所有磁盘空间”
10:完成
3. 为我们创建的linux虚拟机挂载操作系统
- 我们现在已经有了一台虚拟电脑了,就类似我们刚刚买了一台电脑回来,只不过不同的是我们这台虚拟电脑还没有操作系统我们需要为这台电脑挂在操作系统出来 1:通过设置来挂载操作系统
需要自行下载64位Centos7的操作系统
2:直接回车开始安装
3:设置键盘为英文键盘
4:接下来配置这三项
(1)设置①时区为Asia/Shanghai
(2)设置②INSTALATION DESTINATION
(3)设置③NETWORK & HOST NAME
5:设置root用户密码
6:安装完成之后重启reboot即可 此过程稍长,耐心等待
4. 为我们的linux虚拟机设置网络配置
- 我们的linux虚拟机已经创建并挂载好了操作系统,接下来我们可以为我们的第一台虚拟机来设置网络地址了,设置网络地址比较麻烦。
1:设置虚拟机的网段 2:查看==NAT模式==的网关,子网IP以及子网掩码
3:设置window当中的VMNet8网络地址
4:设置linux当中的网络
-
我们已经配置好了Vmware当中的网络、windows当中的网络;
-
剩下就是配置linux虚拟机当中的网络,配置好了linux当中的网络,我们的linux就可以联网使用了
-
登录linux
编辑配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
添加联网四要素
IPADDR=192.168.52.100 NETMASK=255.255.255.0 GATEWAY=192.168.52.1 DNS1=8.8.8.8
具体参考下图 更改完成配置,重启网络服务
systemctl restart network
安装一些常用的软件
yum -y install vim yum -y install net-tools
关机
init 0
5. 克隆第一台机器
-
现在我们已经有了种子机器了,我们可以通过种子机器进行复制或者克隆出三台机器
-
关闭linux种子机器,然后准备进行克隆
选择创建完整克隆
6. 更改克隆机器的IP地址
-
三台机器的ip地址分别是
192.168.52.100、192.168.52.110、192.168.52.120
-
克隆出来的机器IP地址与种子的ip地址一样,我们将第二台机器的IP地址更改为192.168.52.110即可
-
启动虚拟机,并通过root用户,密码123456来进行登录,然后来更改linux机器的IP地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=192.168.52.110 NETMASK=255.255.255.0 GATEWAY=192.168.52.1 DNS1=8.8.8.8
- 依照上面步骤,接着克隆第三台机器,并将第三台机器的IP地址设置为 192.168.52.120
<font color='red'>建议:三台机器准备好后,打个快照,便于出错后恢复</font>
总结
<font color=#999AAA >提示:至此,大数据的服务器环境就全部准备完成了,接下来就可以开始搭建3节点的hadoop和zookeeper的集群了。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
机器学习(五):通俗易懂决策树与随机森林及代码实践
与SVM一样,决策树是通用的机器学习算法。随机森林,顾名思义,将决策树分类器集成到一起就形成了更强大的机器学习算法。它们都是很基础但很强大的机器学习工具,虽然我们现在有更先进的算法工具来训练模型,但决策树与随机森林因其简单灵活依然广受喜爱,建议大家学习。 一、决策树 1.1 什么是决策树 我们可以把决策树想象成IF/ELSE判别式深度嵌套的二叉树形结构。以我们在《机器学习(三):理解逻辑回归及二分类、多分类代码实践》所举的鸢尾花数据集为例。 我们曾用seaborn绘制花瓣长度和宽度特征对应鸢尾花种类的散点图,如下: 当花瓣长度小于2.45则为山鸢尾(setosa),剩下的我们判断花瓣宽度小于1.75则为变色鸢尾(versicolor)剩下的为维吉尼亚鸢尾(virginica)。那么我用导图画一下这种判别式的树形结构如下: 因此,当我们面对任意鸢尾花的样本,我们只需要从根节点到叶子节点遍历决策树,就可以得到鸢尾花的分类结论。 这就是决策树。 1.2 决策树代码实践 我们导入数据集(大家不用在意这个域名),并训练模型: importnumpyasnpimportpandasaspdfrom...
- 下一篇
跨越异构鸿沟,Redis 迁移同步过程中的挑战与解决方案
随着云计算十余年的高速发展,作为目前可见的最新阶段,多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移,也逐步常态化。因此,缓存 Redis 已成为高并发场景下提升数据访问速度的标配。 不仅是数据云间迁移,目前大型系统对于缓存强依赖,致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大,以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中,Redis 就起到了降低数据库压力,提升数据访问速度的作用。 下图是某网站业务的解决访问速度慢的问题,引入缓存Redis提升访问速度的流程: 但在 Redis 迁移同步过程中,势必会面临着许多挑战: rdb版本不⼀致导致源 redis dump⽂件在⽬标redis中不能加载 数据节点不⼀致带来的 redis 主从复制⽅案失效 应⽤快速割接的⽤⼾需求 ⾮幂等命令的幂等要求 正因如此, 应运而生。_RedisSyncer 是京东云用于在 redis 之间数据同步的产品,支持跨版本、异构集群间的数据同步。_它模拟了redis的replication协议,在rdb版本不⼀致时进⾏命令转换,以实现跨rdb版本迁移,并通过缓存value的⽅式完成INC...
相关文章
文章评论
共有0条评论来说两句吧...