Linux CentOS下Hadoop伪分布再配置，再次一定要玩真的集群啦~~-低调大师

Linux CentOS下Hadoop伪分布再配置，再次一定要玩真的集群啦~~

2013-04-04 807

上次配了一次，没多少感觉。

代码看累了。

配置一次再轻松一下脑袋。。。

不过，这次是在家里的VM上，用最新的JDK-7U-17和上HADOOP-1.1.2搞的。

CENTOS版本来6.3-I386.

一次OK。

这次参考的贴子是：

http://bjbxy.blog.51cto.com/854497/352692

相关输出如下：

# jps
2614 Jps
2280 TaskTracker
1908 NameNode
2110 SecondaryNameNode
2012 DataNode
2169 JobTracker

报告输出：

HDFS管理界面：

WORDCOUNT的JOB测试样例运行：

]# ./hadoop jar hadoop-examples-1.1.2.jar wordcount bxy output
Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-examples-1.1.2.jar
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: hadoop-examples-1.1.2.jar (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:214)
        at java.util.zip.ZipFile.<init>(ZipFile.java:144)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)
[root@localhost bin]# pwd
/usr/local/hadoop/hadoop-1.1.2/bin
[root@localhost bin]# ./hadoop jar /usr/local/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount bxy output
12/12/20 07:35:43 INFO input.FileInputFormat: Total input paths to process : 1
12/12/20 07:35:43 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/12/20 07:35:43 WARN snappy.LoadSnappy: Snappy native library not loaded
12/12/20 07:35:45 INFO mapred.JobClient: Running job: job_201212200705_0001
12/12/20 07:35:46 INFO mapred.JobClient: map 0% reduce 0%
12/12/20 07:36:10 INFO mapred.JobClient: map 100% reduce 0%
12/12/20 07:36:26 INFO mapred.JobClient: map 100% reduce 100%
12/12/20 07:36:30 INFO mapred.JobClient: Job complete: job_201212200705_0001
12/12/20 07:36:30 INFO mapred.JobClient: Counters: 29
12/12/20 07:36:30 INFO mapred.JobClient:   Job Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Launched reduce tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=25805
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Launched map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     Data-local map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=15472
12/12/20 07:36:30 INFO mapred.JobClient:   File Output Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Written=1135
12/12/20 07:36:30 INFO mapred.JobClient:   FileSystemCounters
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_READ=1600
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_READ=1280
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=105526
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1135
12/12/20 07:36:30 INFO mapred.JobClient:   File Input Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Read=1166
12/12/20 07:36:30 INFO mapred.JobClient:   Map-Reduce Framework
12/12/20 07:36:30 INFO mapred.JobClient:     Map output materialized bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Map input records=34
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce shuffle bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Spilled Records=230
12/12/20 07:36:30 INFO mapred.JobClient:     Map output bytes=1824
12/12/20 07:36:30 INFO mapred.JobClient:     Total committed heap usage (bytes)=131665920
12/12/20 07:36:30 INFO mapred.JobClient:     CPU time spent (ms)=8970
12/12/20 07:36:30 INFO mapred.JobClient:     Combine input records=169
12/12/20 07:36:30 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input groups=115
12/12/20 07:36:30 INFO mapred.JobClient:     Combine output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Physical memory (bytes) snapshot=187215872
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=755154944
12/12/20 07:36:30 INFO mapred.JobClient:     Map output records=169

微信关注我们

原文链接：https://yq.aliyun.com/articles/235424

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

storm介绍

下面是一些关于Storm的网页和资料，你看一下吧。来自淘宝的简介：http://www.searchtb.com/2012/09/introduction-to-storm.html 官网：http://storm-project.net/ GitHub页面：https://github.com/nathanmarz/storm Wiki：https://github.com/nathanmarz/storm/wiki（详细页面列表，请看https://github.com/nathanmarz/storm/wiki/_pages）另一个Wiki（中方开发人员编写）：https://github.com/xumingming/storm-wiki 示例代码：https://github.com/nathanmarz/storm-starter（其中有Python的例子）讨论组（GoogleGroups）：https://groups.google.com/group/storm-user Storm中国开发人员的博客：http://xumingming.sinaapp.com/ ...

2013-04-01

826

今天开始在集群中配置HADOOP，三个节点，一个是NAME-NODE, 两个是DATA-NODE。配置SSH无密码验证登陆时，不太成功。找了网上CASE。原来是自建.ssh目录时，没有将权限设置为700，而AUTHORIZED_KEYS的权限要设置为600. 按以下文章配置后，一切OK。是为记。 ~~~~~~~~~~~~ http://www.2cto.com/os/201301/186673.html 1.前期准备：检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具，可以通过LAN/WLAN快速同步多台主机之间的文件) rpm-qa|grepopenssh rpm-qa|greprsync 我的Centos5.6下的显示： www.2cto.com 如果没有安装则执行一下安装： yuminstallssh yuminstallrsync servicesshdrestart启动服务 www.2cto.com 1.SSH无密码验证的原理 Master作为客户端，要实现无密码公钥认证，连接到服务器Salve上时，需要在Master上生成一个密钥...

2013-04-06

828

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。