首页 文章 精选 留言 我的

精选列表

搜索[伪集群]，共10007篇文章
优秀的个人博客,低调大师

hadoop安装配置——伪分布模式

1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 tar -xzf hadoop-0.20.2 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 文件：core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 文件：mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 文件：hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> 3. 开启关闭 通过NameNode格式化HDFS文件系统 cd hadoop-0.20.2/conf hadoop namenode -format 开启hadoop cd hadoop-0.20.2/bin sh start-all.sh 通过jps命令检查期望的hadoop进程是否运行 关闭hadoop cd hadoop-0.20.2/bin sh stop-all.sh 4. 参考 Running Hadoop on Ubuntu Linux (Single-Node Cluster) hadoop三个配置文件的参数含义说明 hadoop安装配置 本文转自jihite博客园博客，原文链接：http://www.cnblogs.com/kaituorensheng/p/3825546.html，如需转载请自行联系原作者
2017-12-05
优秀的个人博客,低调大师

hadoop伪分布式2.4.1安装

一、准备： 1、修改主机名： vi /etc/sysconfig/network内容如下： NETWORKING=yes HOSTNAME=myHadoop 2、修改主机名和IP的映射关系，即hosts文件： vi /etc/hosts 192.168.127.150myHadoop 3、关闭防火墙： 3.1、查看防火墙状态 service iptables status 3.2、关闭防火墙 service iptables stop 3.3、查看防火墙开机启动状态 chkconfig iptables --list 3.4、关闭防火墙开机启动 chkconfig iptables off 4、重启Linux： reboot/shutdown -r now 二、安装JDK： 1、解压： tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool 2、将java添加到环境变量中： sudo vi /etc/profile #在文件最后添加 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile #验证：java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode) 三、安装hadoop2.4.1： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export HADOOP_HOME=/opt/tool/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #刷新配置 source /etc/profile #验证：hadoop version Hadoop 2.4.1 Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318 Compiled by jenkins on 2014-06-21T05:43Z Compiled with protoc 2.5.0 From source with checksum bb7ac0a3c73dc131f4844b873c74b630 This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar 3、配置hadoop： 3.1：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 3.2：core-site.xml <!-- 指定HADOOP所使用的文件系统URI，HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoopnode0:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/tool/hadoop-2.4.1/tmp</value> </property> 3.3：hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> 3.4：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3.5：yarn-site.xml <!-- 指定YARN的老大（ResourceManager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoopnode0</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.6：格式化namenode （是对namenode进行初始化,只有在第一次安装时执行格式化，切记切记，否则数据丢失。） hdfs namenode -format (或者hadoop namenode -format) 3.7：启动hadoop： #先启动HDFS：start-dfs.sh，启动了一下进程： NameNode SecondaryNameNode DataNode #再启动YARN：start-yarn.sh，启动了一下进程： NodeManager ResourceManager 3.8：验证是否启动成功 使用jps命令验证 22303 NameNode 22216 Jps 27643 SecondaryNameNode 25566 NodeManager 25603 ResourceManager 27812 DataNode http://192.168.1.201:50070 （HDFS管理界面） http://192.168.1.201:8088 （MR管理界面） 4、NameNode： 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树， 文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。 元数据信息保存在fsimage和edit中，fsimage保存的是合并后的元数据信息，而edit保存的是实时的元数据信息。 5、DataNode： 提供真实文件数据的存储服务。文件存储时，是以block为单位进行存储的。 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size， 那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块 称为一个block。HDFS默认block大小为128MB，以一个256MB文件为例，可以分割为2个Block。 6、SecondaryNameNode ： 用来合并fsimage和edit。 本文转自lzf0530377451CTO博客，原文链接：http://blog.51cto.com/8757576/1827475，如需转载请自行联系原作者
2017-11-15
优秀的个人博客,低调大师

【实验】Hadoop2.6.0的伪分布安装

hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz jdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 1 设置ip地址 点击(此处)折叠或打开 [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) DEVICE=eth0 BOOTPROTO=none ONBOOT=yes HWADDR=00:0c:29:51:cc:37 TYPE=Ethernet NETMASK=255.255.255.0 IPADDR=192.168.23.131 GATEWAY=192.168.23.1 USERCTL=no IPV6INIT=no PEERDNS=yes 执行命令 service network restart 验证: ifconfig 2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig --list | grep iptables 4 设置主机名 执行命令 (1)hostname hadoop1 (2)vi /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=hadoop1 5 ip与hostname绑定 执行命令 (1)vi /etc/hosts 192.168.23.131 hadoop1.localdomain hadoop1 验证: ping hadoop1 6 设置ssh免密码登陆 执行命令 (1)ssh-keygen -t rsa (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 验证： [root@test1 ~]# ssh hadoop1 The authenticity of host 'hadoop1 (192.168.23.131)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'hadoop1,192.168.23.131' (RSA) to the list of known hosts. Last login: Thu Feb 11 20:54:11 2016 from 192.168.23.1 [root@hadoop1 ~]# ssh hadoop1 Last login: Thu Feb 11 20:57:56 2016 from hadoop1.localdomain 7 安装jdk http://my.oschina.net/gaowm/blog/275184 (1)执行命令 点击(此处)折叠或打开 [root@hadoop1 java]# cd /usr/share/java [root@hadoop1 java]# cd [root@hadoop1 ~]# cd /usr/share/java [root@hadoop1 java]# cp /tmp/jdk-7u79-linux-x64.gz ./ [root@hadoop1 java]# tar -xzvf jdk-7u79-linux-x64.gz (2)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/share/java/jdk1.7.0_79 export PATH=.:$JAVA_HOME/bin:$PATH (3)source /etc/profile 验证: java -version 8 安装hadoop (1)执行命令 点击(此处)折叠或打开 [root@hadoop1 ~]# cd /usr/local/ [root@hadoop1 local]# cp /tmp/hadoop-2.6.0.tar.gz ./ [root@hadoop1 local]# tar -zxvf hadoop-2.6.0.tar.gz [root@hadoop1 local]# mv hadoop-2.6.0 hadoop (2)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/share/java/jdk1.7.0_79 export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH (3)source /etc/profile (4)修改/usr/local/hadoop/etc/hadoop目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml 点击(此处)折叠或打开 [root@hadoop1 hadoop]# vi hadoop-env.sh export JAVA_HOME=/usr/share/java/jdk1.7.0_79 [root@hadoop1 hadoop]# vi core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> [root@hadoop1 hadoop]# vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> ~ [root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml [root@hadoop1 hadoop]# vi mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop1:9001</value> </property> </configuration> (5)hadoop namenode -format (6)start-all.sh 点击(此处)折叠或打开 [root@hadoop1 hadoop]# cd sbin [root@hadoop1 sbin]# start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 16/02/11 21:40:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [hadoop1] hadoop1: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-hadoop1.out The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts. localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop1.out Starting secondary namenodes [0.0.0.0] The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes 0.0.0.0: Warning: Permanently added '0.0.0.0' (RSA) to the list of known hosts. 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-hadoop1.out 16/02/11 21:41:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-hadoop1.out localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop1.out [root@hadoop1 sbin]# jps 7192 SecondaryNameNode 7432 NodeManager 7468 Jps 6913 NameNode 7333 ResourceManager 7036 DataNode 验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager (2)在浏览器查看 hadoop web控制台页面的端口整理： 50070：hdfs文件管理 http://192.168.23.131:50070 8088：ResourceManager http://192.168.23.131:8088 8042：NodeManager http://192.168.23.131:8042 9 启动时没有NameNode的可能原因: (1)没有格式化 (2)环境变量设置错误 (3)ip与hostname绑定失败 参考: http://stark-summer.iteye.com/blog/2184123 http://www.aboutyun.com/thread-7513-1-1.html
2016-02-11
优秀的个人博客,低调大师

hadoop2.2.0伪分布式安装

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/44228263 修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134 hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 重启Linux reboot 安装JDK 上传JDK文件到linux中 解压jdk 创建文件夹 mkdir /usr/java 在/usr/java目录下安装 chmod 755jdk-6u45-linux-i586.bin 安装 ./jdk-6u45-linux-i586.bin 安装完成之后 重命名jdk的安装文件夹为jdk 将java添加到环境变量中 vi /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk export PATH=$PATH:$JAVA_HOME/bin 刷新配置 source /etc/profile 安装Hadoop 上传hadoop安装包到hadoop宿主目录下 解压hadoop安装包到hadoop根目录 tar -zxvf hadoop-2.2.0-64bit.tar.gz 修改配置文件（5个） 第一个：hadoop-env.sh #在27行修改 export JAVA_HOME=/usr/java/jdk 第二个：core-site.xml <configuration> <!-- 指定HDFS老大（namenode）的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/tmp</value> </property> </configuration> 第三个：hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml <configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 第五个：yarn-site.xml <configuration> <!-- reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 3.4将hadoop添加到环境变量 vi /etc/profile export JAVA_HOME=/usr/java/jdk export HADOOP_HOME=/home/hadoop/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile 3.5格式化HDFS（namenode）第一次使用时要格式化 hadoop namenode -format 3.6启动hadoop 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh 3.7验证是否启动成功 使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://hadoop:50070 (HDFS管理界面) 在这个文件中添加linux主机名和IP的映射关系 C:\Windows\System32\drivers\etc\hosts 192.168.61.134 hadoop http://hadoop:8088 （MR管理界面） 4.配置ssh免登陆 在服务器上 输入命令 chmod -R 755 /home/hadoop mkdir ~/.ssh ssh-keygen -t rsa ssh-keygen -t dsa rsa和dsa分别生成不同加密格式的ssh密钥，直接一直按回车键保存在默认的路径 在节点上配置authorized_keys文件 输入命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将本地的密钥保存在authorized_keys 输入命令 chmod -R 700 ~/.ssh 注意当前你所在的路径
2015-03-12

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
HarmonyOS6 Service Mesh Nacos3 Gemini3 SpringBoot4 Redis Kubernetes Jdk25 SpringCloud Rocky Docker OpenAi DeepSeek

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册