Linux CentOS下Hadoop伪分布再配置，再次一定要玩真的集群啦~~-低调大师

Linux CentOS下Hadoop伪分布再配置，再次一定要玩真的集群啦~~

2013-04-04 784 89

上次配了一次，没多少感觉。

代码看累了。

配置一次再轻松一下脑袋。。。

不过，这次是在家里的VM上，用最新的JDK-7U-17和上HADOOP-1.1.2搞的。

CENTOS版本来6.3-I386.

一次OK。

这次参考的贴子是：

http://bjbxy.blog.51cto.com/854497/352692

相关输出如下：

# jps
2614 Jps
2280 TaskTracker
1908 NameNode
2110 SecondaryNameNode
2012 DataNode
2169 JobTracker

报告输出：

HDFS管理界面：

WORDCOUNT的JOB测试样例运行：

]# ./hadoop jar hadoop-examples-1.1.2.jar wordcount bxy output
Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-examples-1.1.2.jar
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: hadoop-examples-1.1.2.jar (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:214)
        at java.util.zip.ZipFile.<init>(ZipFile.java:144)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)
[root@localhost bin]# pwd
/usr/local/hadoop/hadoop-1.1.2/bin
[root@localhost bin]# ./hadoop jar /usr/local/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount bxy output
12/12/20 07:35:43 INFO input.FileInputFormat: Total input paths to process : 1
12/12/20 07:35:43 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/12/20 07:35:43 WARN snappy.LoadSnappy: Snappy native library not loaded
12/12/20 07:35:45 INFO mapred.JobClient: Running job: job_201212200705_0001
12/12/20 07:35:46 INFO mapred.JobClient: map 0% reduce 0%
12/12/20 07:36:10 INFO mapred.JobClient: map 100% reduce 0%
12/12/20 07:36:26 INFO mapred.JobClient: map 100% reduce 100%
12/12/20 07:36:30 INFO mapred.JobClient: Job complete: job_201212200705_0001
12/12/20 07:36:30 INFO mapred.JobClient: Counters: 29
12/12/20 07:36:30 INFO mapred.JobClient:   Job Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Launched reduce tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=25805
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Launched map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     Data-local map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=15472
12/12/20 07:36:30 INFO mapred.JobClient:   File Output Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Written=1135
12/12/20 07:36:30 INFO mapred.JobClient:   FileSystemCounters
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_READ=1600
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_READ=1280
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=105526
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1135
12/12/20 07:36:30 INFO mapred.JobClient:   File Input Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Read=1166
12/12/20 07:36:30 INFO mapred.JobClient:   Map-Reduce Framework
12/12/20 07:36:30 INFO mapred.JobClient:     Map output materialized bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Map input records=34
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce shuffle bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Spilled Records=230
12/12/20 07:36:30 INFO mapred.JobClient:     Map output bytes=1824
12/12/20 07:36:30 INFO mapred.JobClient:     Total committed heap usage (bytes)=131665920
12/12/20 07:36:30 INFO mapred.JobClient:     CPU time spent (ms)=8970
12/12/20 07:36:30 INFO mapred.JobClient:     Combine input records=169
12/12/20 07:36:30 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input groups=115
12/12/20 07:36:30 INFO mapred.JobClient:     Combine output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Physical memory (bytes) snapshot=187215872
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=755154944
12/12/20 07:36:30 INFO mapred.JobClient:     Map output records=169

微信关注我们

原文链接：https://yq.aliyun.com/articles/235424

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2013-04-01 00:00:00

storm介绍

下面是一些关于Storm的网页和资料，你看一下吧。来自淘宝的简介：http://www.searchtb.com/2012/09/introduction-to-storm.html 官网：http://storm-project.net/ GitHub页面：https://github.com/nathanmarz/storm Wiki：https://github.com/nathanmarz/storm/wiki（详细页面列表，请看https://github.com/nathanmarz/storm/wiki/_pages）另一个Wiki（中方开发人员编写）：https://github.com/xumingming/storm-wiki 示例代码：https://github.com/nathanmarz/storm-starter（其中有Python的例子）讨论组（GoogleGroups）：https://groups.google.com/group/storm-user Storm中国开发人员的博客：http://xumingming.sinaapp.com/ ...

808

2013-04-06 00:00:00

SSH无密码验证登录的实现(转摘)

今天开始在集群中配置HADOOP，三个节点，一个是NAME-NODE, 两个是DATA-NODE。配置SSH无密码验证登陆时，不太成功。找了网上CASE。原来是自建.ssh目录时，没有将权限设置为700，而AUTHORIZED_KEYS的权限要设置为600. 按以下文章配置后，一切OK。是为记。 ~~~~~~~~~~~~ http://www.2cto.com/os/201301/186673.html 1.前期准备：检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具，可以通过LAN/WLAN快速同步多台主机之间的文件) rpm-qa|grepopenssh rpm-qa|greprsync 我的Centos5.6下的显示： www.2cto.com 如果没有安装则执行一下安装： yuminstallssh yuminstallrsync servicesshdrestart启动服务 www.2cto.com 1.SSH无密码验证的原理 Master作为客户端，要实现无密码公钥认证，连接到服务器Salve上时，需要在Master上生成一个密钥...

811

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。