首页 文章 精选 留言 我的

精选列表

搜索[伪集群]，共10009篇文章
优秀的个人博客,低调大师

hadoop安装配置——伪分布模式

1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 tar -xzf hadoop-0.20.2 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 文件：core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 文件：mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 文件：hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> 3. 开启关闭 通过NameNode格式化HDFS文件系统 cd hadoop-0.20.2/conf hadoop namenode -format 开启hadoop cd hadoop-0.20.2/bin sh start-all.sh 通过jps命令检查期望的hadoop进程是否运行 关闭hadoop cd hadoop-0.20.2/bin sh stop-all.sh 4. 参考 Running Hadoop on Ubuntu Linux (Single-Node Cluster) hadoop三个配置文件的参数含义说明 hadoop安装配置 本文转自jihite博客园博客，原文链接：http://www.cnblogs.com/kaituorensheng/p/3825546.html，如需转载请自行联系原作者
2017-12-04
优秀的个人博客,低调大师

hadoop伪分布式2.4.1安装

一、准备： 1、修改主机名： vi /etc/sysconfig/network内容如下： NETWORKING=yes HOSTNAME=myHadoop 2、修改主机名和IP的映射关系，即hosts文件： vi /etc/hosts 192.168.127.150myHadoop 3、关闭防火墙： 3.1、查看防火墙状态 service iptables status 3.2、关闭防火墙 service iptables stop 3.3、查看防火墙开机启动状态 chkconfig iptables --list 3.4、关闭防火墙开机启动 chkconfig iptables off 4、重启Linux： reboot/shutdown -r now 二、安装JDK： 1、解压： tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool 2、将java添加到环境变量中： sudo vi /etc/profile #在文件最后添加 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile #验证：java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode) 三、安装hadoop2.4.1： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export HADOOP_HOME=/opt/tool/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #刷新配置 source /etc/profile #验证：hadoop version Hadoop 2.4.1 Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318 Compiled by jenkins on 2014-06-21T05:43Z Compiled with protoc 2.5.0 From source with checksum bb7ac0a3c73dc131f4844b873c74b630 This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar 3、配置hadoop： 3.1：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 3.2：core-site.xml <!-- 指定HADOOP所使用的文件系统URI，HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoopnode0:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/tool/hadoop-2.4.1/tmp</value> </property> 3.3：hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> 3.4：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3.5：yarn-site.xml <!-- 指定YARN的老大（ResourceManager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoopnode0</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.6：格式化namenode （是对namenode进行初始化,只有在第一次安装时执行格式化，切记切记，否则数据丢失。） hdfs namenode -format (或者hadoop namenode -format) 3.7：启动hadoop： #先启动HDFS：start-dfs.sh，启动了一下进程： NameNode SecondaryNameNode DataNode #再启动YARN：start-yarn.sh，启动了一下进程： NodeManager ResourceManager 3.8：验证是否启动成功 使用jps命令验证 22303 NameNode 22216 Jps 27643 SecondaryNameNode 25566 NodeManager 25603 ResourceManager 27812 DataNode http://192.168.1.201:50070 （HDFS管理界面） http://192.168.1.201:8088 （MR管理界面） 4、NameNode： 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树， 文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。 元数据信息保存在fsimage和edit中，fsimage保存的是合并后的元数据信息，而edit保存的是实时的元数据信息。 5、DataNode： 提供真实文件数据的存储服务。文件存储时，是以block为单位进行存储的。 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size， 那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块 称为一个block。HDFS默认block大小为128MB，以一个256MB文件为例，可以分割为2个Block。 6、SecondaryNameNode ： 用来合并fsimage和edit。 本文转自lzf0530377451CTO博客，原文链接：http://blog.51cto.com/8757576/1827475，如需转载请自行联系原作者
2017-11-14
优秀的个人博客,低调大师

【实验】Hadoop2.6.0的伪分布安装

hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz jdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 1 设置ip地址 点击(此处)折叠或打开 [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) DEVICE=eth0 BOOTPROTO=none ONBOOT=yes HWADDR=00:0c:29:51:cc:37 TYPE=Ethernet NETMASK=255.255.255.0 IPADDR=192.168.23.131 GATEWAY=192.168.23.1 USERCTL=no IPV6INIT=no PEERDNS=yes 执行命令 service network restart 验证: ifconfig 2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig --list | grep iptables 4 设置主机名 执行命令 (1)hostname hadoop1 (2)vi /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=hadoop1 5 ip与hostname绑定 执行命令 (1)vi /etc/hosts 192.168.23.131 hadoop1.localdomain hadoop1 验证: ping hadoop1 6 设置ssh免密码登陆 执行命令 (1)ssh-keygen -t rsa (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 验证： [root@test1 ~]# ssh hadoop1 The authenticity of host 'hadoop1 (192.168.23.131)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'hadoop1,192.168.23.131' (RSA) to the list of known hosts. Last login: Thu Feb 11 20:54:11 2016 from 192.168.23.1 [root@hadoop1 ~]# ssh hadoop1 Last login: Thu Feb 11 20:57:56 2016 from hadoop1.localdomain 7 安装jdk http://my.oschina.net/gaowm/blog/275184 (1)执行命令 点击(此处)折叠或打开 [root@hadoop1 java]# cd /usr/share/java [root@hadoop1 java]# cd [root@hadoop1 ~]# cd /usr/share/java [root@hadoop1 java]# cp /tmp/jdk-7u79-linux-x64.gz ./ [root@hadoop1 java]# tar -xzvf jdk-7u79-linux-x64.gz (2)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/share/java/jdk1.7.0_79 export PATH=.:$JAVA_HOME/bin:$PATH (3)source /etc/profile 验证: java -version 8 安装hadoop (1)执行命令 点击(此处)折叠或打开 [root@hadoop1 ~]# cd /usr/local/ [root@hadoop1 local]# cp /tmp/hadoop-2.6.0.tar.gz ./ [root@hadoop1 local]# tar -zxvf hadoop-2.6.0.tar.gz [root@hadoop1 local]# mv hadoop-2.6.0 hadoop (2)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/share/java/jdk1.7.0_79 export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH (3)source /etc/profile (4)修改/usr/local/hadoop/etc/hadoop目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml 点击(此处)折叠或打开 [root@hadoop1 hadoop]# vi hadoop-env.sh export JAVA_HOME=/usr/share/java/jdk1.7.0_79 [root@hadoop1 hadoop]# vi core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> [root@hadoop1 hadoop]# vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> ~ [root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml [root@hadoop1 hadoop]# vi mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop1:9001</value> </property> </configuration> (5)hadoop namenode -format (6)start-all.sh 点击(此处)折叠或打开 [root@hadoop1 hadoop]# cd sbin [root@hadoop1 sbin]# start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 16/02/11 21:40:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [hadoop1] hadoop1: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-hadoop1.out The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts. localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop1.out Starting secondary namenodes [0.0.0.0] The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b. Are you sure you want to continue connecting (yes/no)? yes 0.0.0.0: Warning: Permanently added '0.0.0.0' (RSA) to the list of known hosts. 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-hadoop1.out 16/02/11 21:41:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-hadoop1.out localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop1.out [root@hadoop1 sbin]# jps 7192 SecondaryNameNode 7432 NodeManager 7468 Jps 6913 NameNode 7333 ResourceManager 7036 DataNode 验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager (2)在浏览器查看 hadoop web控制台页面的端口整理： 50070：hdfs文件管理 http://192.168.23.131:50070 8088：ResourceManager http://192.168.23.131:8088 8042：NodeManager http://192.168.23.131:8042 9 启动时没有NameNode的可能原因: (1)没有格式化 (2)环境变量设置错误 (3)ip与hostname绑定失败 参考: http://stark-summer.iteye.com/blog/2184123 http://www.aboutyun.com/thread-7513-1-1.html
2016-02-10

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-10-18 大小: 211.28KB 下载: 56次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册