Hadoop-2.2.0中文文档—— Common - CLI MiniCluster-低调大师

Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

2017-10-09 490

目的

使用 CLI MiniCluster, 用户能够简单地仅仅用一个命令就启动或关闭一个单一节点的Hadoop集群，不须要设置不论什么环境变量或管理配置文件。 CLI MiniCluster 同一时候启动一个 YARN/MapReduce 和 HDFS 集群。

这对那些想要高速体验一个真实的Hadoop集群或是測试依赖明显的Hadoop函数的非Java程序的用户非常实用。

Hadoop Tarball

你须要从公布页获取tar包。或者。你能够从源代码中自己编译。

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意: 你须要事先安装有 protoc 2.5.0 。

tar包应该在 hadoop-dist/target/ 文件夹.

执行 MiniCluster

从解压出的tar包的根文件夹。你能够用以下的命令启动 CLI MiniCluster ：

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上面的命令演示样例中，RM_PORT 和 JHS_PORT 应该由用户的port号替换。假设不指定。会随机使用空暇的port。

命令行參数中有一个数字，用户能够用来控制启动哪个服务。或者传递别的属性。可用的命令行參数例如以下：

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       启动多少个 datanodes  (默认是 1)
$ -format                格式化 DFS (默认是 false)
$ -help                  打印帮助选项
$ -jhsport <arg>         JobHistoryServer 端口 (默认是 0--我们选的)
$ -namenode <arg>        namenode 的 URL  (默认 要么是 DFS 集群，要么是暂时文件夹)

$ -nnport <arg>          NameNode 端口 (默认是 0--我们选的)

$ -nodemanagers <arg>    要启动多少个 nodemanagers(默认是 1)
$ -nodfs                 不启动一个 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口 (默认是 0--我们选的)

$ -writeConfig <path>    保存配置文件到这个XML文件中。
$ -writeDetails <path>   写出基本信息到这个JSON文件中。

要显示可用的參数的全列表。用户能够传-help參数给上面的命令。

本文转自mfrbuaa博客园博客，原文链接：http://www.cnblogs.com/mfrbuaa/p/5389794.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/349306

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据计算服务(MaxCompute，原名ODPS，产品地址： https://www.aliyun.com/product/odps ) 是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了一些MaxCompute常用SQL、MR、Tunnel等语句，帮助您快速了解并使用MaxCompute/ODPS。创建内部表 CREATE TABLE table_name (name string); 创建内部表,并指定分区字段 CREATE TABLE table_name (name string) PARTITIONED BY (ds string); 创建内部表,并指定生命周期 C

2017-10-10

582

当使用 hadoop fs -put localfile /user/xxx 时提示： put: Permission denied: user=root, access=WRITE, inode="/user/shijin":hdfs:supergroup:drwxr-xr-x 表明：权限不够。这里涉及到两个方面的权限。一个是本地文件系统中localfile 文件的权限，一个是HDFS上 /user/xxx目录的权限。先看看 /user/xxx目录的权限：drwxr-xr-x - hdfs supergroup 表示它属于hdfs用户，组名为 supergroup 因此需要使用sudo -u hdfshadoop fs -put localfile /user/xxx 来指定使用 hdfs 用户来执行上传命令。参考当高兴地执行sudo -u hdfshadoop fs -put localfile /user/xxx 以为能成功上传时，又报错： put: localfile No such file or directory 说找不到本地文件localfile，可是用 ls ...

2017-10-11

541

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。