首页 文章 精选 留言 我的

精选列表

搜索[数据脱敏]，共10000篇文章
优秀的个人博客,低调大师

好程序员大数据教程Hadoop全分布安装（非HA)

机器名称 启动服务 linux11 namenode secondrynamenode datanode linux12 datanode linux13 datanode 第一步：更改主机名，临时修改+永久修改 临时修改：hostname linux11 永久修改: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=linux11 临时修改：hostname linux12 永久修改: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=linux11 临时修改：hostname linux13 永久修改: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=linux13 第二步：配置ip地址 1.三台机器关闭NetworkManager服务 service NetworkManager stop 2.三台机器禁止开机启动NetworkManager服务 chkconfig NetworkManager off 3. vi /etc/sysconfig/network-scripts/ifcfg-eth0 三台机器依次配置成这样 linux11： ONBOOT=yes BOOTPROTO=static IPADDR=192.168.91.11 DNS1=8.8.8.8 GATEWAY=192.168.91.1 NETMASK=255.255.255.0 linux12： ONBOOT=yes BOOTPROTO=static IPADDR=192.168.91.12 DNS1=8.8.8.8 GATEWAY=192.168.91.1 NETMASK=255.255.255.0 linux13： ONBOOT=yes BOOTPROTO=static IPADDR=192.168.91.13 DNS1=8.8.8.8 GATEWAY=192.168.91.1 NETMASK=255.255.255.0 最终结果： 192.168.91.11 linux11 192.168.91.12 linux12 192.168.91.13 linux13 3.三台机器关闭防火墙 service iptables stop 4.三台机器设置禁止开机启动防火墙 chkconfig iptables off 5.三台机器关闭防火墙 service iptables status 显示iptables: Firewall is not running.说明防火墙关闭成功 6.三台机器重启网卡service network restart 第三步配置主机映射 使用命令：vi /etc/hosts 三台机器都改成这样 192.168.91.11 linux11 192.168.91.12 linux12 192.168.91.13 linux13 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 测试： 在linux11上 ping linux12 ping linux13 第四步配置免密码登录 linux11: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys linux12: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys linux13: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys 在linux11上 ssh-copy-id linux12 ssh-copy-id linux13 测试：测试结果为linux11可以免密码登录到所有机器。linux12 linux13可以免密码登录本机 例如：在linux11上输入 ssh linux11 第五步安装jdk及hadoop(由于使用root用户操作，为了防止对liunx操作不熟悉的人，误删其他文件。所以没有选择把软件安装在/usr下,而是选择安装在了自己创建的文件目录下) linux11： 1.在根目录下创建bigdata目录 mkdir /bigdata 2.将hadoop安装包 tar -zxvf /bigdata/hadoop-2.7.1.tar.gz -C /bigdata/ 删除hadoop安装包 rm -rf /bigdata/hadoop-2.7.1.tar.gz 3.jdk安装包解压 tar -zxvf /bigdata/jdk-8u151-linux-x64.gz -C /bigdata/ 删除jdk安装包 rm -rf /bigdata/jdk-8u151-linux-x64.gz 修改jdk目录的名字为jdk1.8 mv /bigdata/jdk1.8.0_151/ /bigdata/jdk1.8 4.配置环境变量 vi /etc/profile 在文件末尾加入如下配置 export JAVA_HOME=/bigdata/jdk1.8 export HADOOP_HOME=/bigdata/hadoop-2.7.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: 第六步：hadoop的配置 1.hadoop-env.sh的配置 使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hadoop-env.sh 第25行export JAVA_HOME=改成下面的样子 export JAVA_HOME=/bigdata/jdk1.8 2.core-site.xml 的配置 使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/core-site.xml 配置成这样： 3.hdfs-site.xml的配置 使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 配置成这样： 4.slaves文件配置 使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/slaves 配置成这样 linux11 linux12 linux13 第七步：远程拷贝 1.将bigdata文件分发给linux12 linux13 scp -r /bigdata linux12:/ scp -r /bigdata linux13:/ 2.将/etc/profile文件分发给linux12 linux13 scp /etc/profile linux12:/etc scp /etc/profile linux13:/etc 3.三台机器刷新环境变量 source /etc/profile 第八步：格式化namenode 在namenode节点linux11上输入命令 hdfs namenode -format 格式化完成后在linux11上启动集群 start-dfs.sh 第九步：验证集群是否启动成功 1.在浏览器上输入192.168.91.11:50070如果页面能打开显示有3个活跃节点说明成功 2.linux11上输入jps 能看到namenode secondrynamenode datanode三个服务 3.linux12上输入jps 能看到datanode 4.linux12上输入jps 能看到datanode 5.上传个文件至集群hdfs dfs -put /bigdata/jdk1.8 / 6.查看web页面是否存在这个文件

2019-03-20

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-04-11 大小: 1MB 下载: 9次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-04-24 大小: 189MB 下载: 6次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-05-30 大小: 1.42GB 下载: 5次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册