《Hadoop MapReduce实战手册》一1.2 在你的机器上安装Hadoop-低调大师

《Hadoop MapReduce实战手册》一1.2 在你的机器上安装Hadoop

2017-05-01 517

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.2节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.2 在你的机器上安装Hadoop
Hadoop MapReduce实战手册
本节讲述如何在本地模式下运行Hadoop。

准备工作
从http://www.oracle.com/technetwork/java/javase/downloads/index.html下载并安装Java 1.6或者更高版本。

操作步骤
现在让我们来完成Hadoop的安装。

从http://hadoop.apache.org/下载最新的Hadoop 1.0分支发行版。
使用下列命令解压Hadoop发行版。必须将文件名中的x.x换成你实际下载的版本号。如果你使用的是Windows，可以使用自己喜欢的解压缩工具（如WinZip或者WinRAR）去解压发行包。从现在的情况来看，我们应该把解压后的Hadoop目录叫做HADOOP_HOME。

>tar -zxvf hadoop-1.x.x.tar.gz

在解压完发行版之后，就可以使用Hadoop的本地模式了。安装也就完成了。现在，你可以通过bin/hadoop命令运行Hadoop作业了，我们将在下一节中详尽阐述。

工作原理
Hadoop本地模式并不启动任何服务进程，而是在同一个JVM中完成所有的工作。当你在Hadoop本地模式中提交一个作业时，这个作业启动一个JVM去运行并完成该作业。作业的输出和行为与分布式的Hadoop作业相同，只是作业只能使用当前的节点运行任务。在1.3节中，我们将探索如何使用解压后的Hadoop发行版去运行一个MapReduce程序。

微信关注我们

原文链接：https://yq.aliyun.com/articles/97814

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop实战手册》一1.10 在Greenplum外部表中使用HDFS

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.10节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.10 在Greenplum外部表中使用HDFS Greenplum是一个并行数据库，数据的存储与查询基于一个或多个PostgreSQL实例。它补充了Hadoop，提供对大数据的实时或准实时访问，它还支持使用HDFS文件作为外部表。外部表是一个处理Greenplum集群之外数据很好的解决方案。由于外部表访问首先要消耗网络带宽，所以与Greenplum集群内的数据相比，它应该存储那些访问相对不频繁的数据。本节将介绍如何创建只读的外部表和可读写的外部表。准备工作在本节假定你使用的Hadoop版本为CDH3。运行一个Greenplum实例，确认它能够访问Hadoop集群。相关信息可以查看http://www.greenplum.com/products/greenplum-database。按照下面的方式...

2017-05-02

573

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.11节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.11 利用Flume加载数据到HDFS中 Apache Flume是Hadoop社区的一个项目，由多个相关项目组成，用于从不同的数据源可靠有效地加载数据流到HDFS中。Flume最常见的一个场景是加载多个数据源的网站日志数据。本节将介绍如何使用Flume加载数据到HDFS中。准备工作在本节中假定你已经安装和配置好Flume。 Flume可以从Apache网页（http://incubator.apache.org/flume/）下载。如果你使用的是CDH3，那么默认已经安装了Flume 0.9.4+25.43的版本。操作步骤完成下面的步骤，实现将weblogs数据导入HDFS。 1．使用dump命令测试Flume是否配置正确： flume dump 'text("/path/to/weblog_e...

2017-05-02

620

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。