首页 文章 精选 留言 我的

精选列表

搜索[文本图像鉴伪]，共10007篇文章
优秀的个人博客,低调大师

hadoop安装配置——伪分布模式

1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 tar -xzf hadoop-0.20.2 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 文件：core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 文件：mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 文件：hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> 3. 开启关闭 通过NameNode格式化HDFS文件系统 cd hadoop-0.20.2/conf hadoop namenode -format 开启hadoop cd hadoop-0.20.2/bin sh start-all.sh 通过jps命令检查期望的hadoop进程是否运行 关闭hadoop cd hadoop-0.20.2/bin sh stop-all.sh 4. 参考 Running Hadoop on Ubuntu Linux (Single-Node Cluster) hadoop三个配置文件的参数含义说明 hadoop安装配置 本文转自jihite博客园博客，原文链接：http://www.cnblogs.com/kaituorensheng/p/3825546.html，如需转载请自行联系原作者
2017-12-04
优秀的个人博客,低调大师

hadoop伪分布式2.4.1安装

一、准备： 1、修改主机名： vi /etc/sysconfig/network内容如下： NETWORKING=yes HOSTNAME=myHadoop 2、修改主机名和IP的映射关系，即hosts文件： vi /etc/hosts 192.168.127.150myHadoop 3、关闭防火墙： 3.1、查看防火墙状态 service iptables status 3.2、关闭防火墙 service iptables stop 3.3、查看防火墙开机启动状态 chkconfig iptables --list 3.4、关闭防火墙开机启动 chkconfig iptables off 4、重启Linux： reboot/shutdown -r now 二、安装JDK： 1、解压： tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool 2、将java添加到环境变量中： sudo vi /etc/profile #在文件最后添加 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile #验证：java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode) 三、安装hadoop2.4.1： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export HADOOP_HOME=/opt/tool/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #刷新配置 source /etc/profile #验证：hadoop version Hadoop 2.4.1 Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318 Compiled by jenkins on 2014-06-21T05:43Z Compiled with protoc 2.5.0 From source with checksum bb7ac0a3c73dc131f4844b873c74b630 This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar 3、配置hadoop： 3.1：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 3.2：core-site.xml <!-- 指定HADOOP所使用的文件系统URI，HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoopnode0:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/tool/hadoop-2.4.1/tmp</value> </property> 3.3：hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> 3.4：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3.5：yarn-site.xml <!-- 指定YARN的老大（ResourceManager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoopnode0</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.6：格式化namenode （是对namenode进行初始化,只有在第一次安装时执行格式化，切记切记，否则数据丢失。） hdfs namenode -format (或者hadoop namenode -format) 3.7：启动hadoop： #先启动HDFS：start-dfs.sh，启动了一下进程： NameNode SecondaryNameNode DataNode #再启动YARN：start-yarn.sh，启动了一下进程： NodeManager ResourceManager 3.8：验证是否启动成功 使用jps命令验证 22303 NameNode 22216 Jps 27643 SecondaryNameNode 25566 NodeManager 25603 ResourceManager 27812 DataNode http://192.168.1.201:50070 （HDFS管理界面） http://192.168.1.201:8088 （MR管理界面） 4、NameNode： 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树， 文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。 元数据信息保存在fsimage和edit中，fsimage保存的是合并后的元数据信息，而edit保存的是实时的元数据信息。 5、DataNode： 提供真实文件数据的存储服务。文件存储时，是以block为单位进行存储的。 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size， 那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块 称为一个block。HDFS默认block大小为128MB，以一个256MB文件为例，可以分割为2个Block。 6、SecondaryNameNode ： 用来合并fsimage和edit。 本文转自lzf0530377451CTO博客，原文链接：http://blog.51cto.com/8757576/1827475，如需转载请自行联系原作者
2017-11-14

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-19 大小: 189MB 下载: 8次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册