Hadoop概念学习系列之Hadoop源代码组织结构（十）-低调大师

Hadoop概念学习系列之Hadoop源代码组织结构（十）

2017-11-13 636

　　想说的是，当学了Hadoop一段时间之后，很有必要去官网上去下载源代码来进行学习。如hadoop-***.src.tar.gz。

**************************学习**************************

直接解压 Hadoop 压缩包后，可看到下图所示的目录结构，其中，比较重要的目录有 src、conf、lib、bin等。

下面分别介绍这几个目录的作用：

　　src ：Hadoop 源代码所在的目录。最核心的代码所在子目录分别是 core、hdfs 和mapred，它们分别实现了 Hadoop 最重要的三个模块，即基础公共库、HDFS 实现和 MapReduce 实现。

　　conf：配置文件所在目录。Hadoop 的配置文件比较多，其设计原则可概括为如下两点。

　　1 尽可能模块化，即每个重要模块拥有自己的配置文件，这样使得维护以及管理变得简单。

2 动静分离，即将可动态加载的配置选项剥离出来，组成独立配置文件。比如， Hadoop 1.0.0 版本之前，作业队列权限管理相关的配置选项被放在配置文件 mapred- site.xml 中，而该文件是不可以动态加载的，每次修改后必须重启 MapReduce。但从 1.0.0 版本开始，这些配置选项被剥离放到独立配置文件 mapred-queue-acls.xml 中，该文件可以通过 Hadoop 命令行动态加载。conf 目录下最重要的配置文件有 core-site.xml、hdfs-site.xml 和 mapred-　　　site.xml，分别设置了基础公共库 core、分布式文件系统 HDFS 和分布式计算框架 MapReduce 的配置选项。

　　lib：Hadoop 运行时依赖的三方库，包括编译好的 jar 包以及其他语言生成的动态库。 Hadoop 启动或者用户提交作业时，会自动加载这些库。

　　bin：运行以及管理 Hadoop 集群相关的脚本。这里介绍几个常用的脚本。

　　1 hadoop：最基本且功能最完备的管理脚本，其他大部分脚本都会调用该脚本。

　　2 start-all.sh/stop-all.sh：启动 / 停止所有节点上的 HDFS 和 MapReduce 相关服务。

　　3 start-mapred.sh/stop-mapred.sh：单独启动 / 停止 MapReduce 相关服务。

　　4 start-dfs.sh/stop-dfs.sh：单独启动 / 停止 HDFS 相关服务。

下面就 Hadoop MapReduce 源代码组织结构进行介绍。Hadoop MapReduce 源代码组织结构如下图所示。

　　总体上看，Hadoop MapReduce 分为两部分：一部分是 org.apache.hadoop.mapred.*，这里面主要包含旧的对外编程接口以及 MapReduce 各个服务（JobTracker 以及 TaskTracker）的实现；另一部分是 org.apache.hadoop.mapreduce.*，主要内容涉及新版本的对外编程接口以及一些新特性（比如 MapReduce 安全）。

1. MapReduce 编程模型相关

　　org.apache.hadoop.mapred.lib.* ：这一系列 Java 包提供了各种可直接在应用程序中使用的 InputFormat、Mapper、Partitioner、Reducer 和 OuputFormat，以减少用户编写 MapReduce 程序的工作量。

　　org.apache.hadoop.mapred.jobcontrol ：该 Java 包允许用户管理具有相互依赖关系的作业（DAG 作业）。

　　org.apache.hadoop.mapred.join ：该 Java 包实现了 map-side join 算法。该算法要求数据已经按照 key 排好序，且分好片，这样可以只使用 Map Task 实现 join 算法，避免 re-partition、sort、shuffling 等开销。

　　org.apache.hadoop.mapred.pipes：该 Java 包允许用户用 C/C++ 编写 MapReduce 作业。

　　org.apache.hadoop.mapreduce：该 Java 包定义了一套新版本的编程接口，这套接口比旧版接口封装性更好。

　　org.apache.hadoop.mapreduce.* ：这一系列Java包根据新版接口实现了各种InputFormat、Mapper、Partitioner、Reducer 和 OuputFormat。

2. MapReduce 计算框架相关

　　org.apache.hadoop.mapred：Hadoop MapReduce 最核心的实现代码，包括各个服务的具体实现。

　　org.apache.hadoop.mapred.ﬁlecache：Hadoop DistributedCache 实现。

　　DistributedCache是 Hadoop 提供的数据分发工具，可将用户应用程序中需要的文件分发到各个节点上。

　　org.apache.hadoop.mapred.tools ：管理控制 Hadoop MapReduce，当前功能仅包括允许用户动态更新服务级别的授权策略和 ACL（访问权限控制）属性。 org.apache.hadoop.mapreduce.split ：该 Java 包的主要功能是根据作业的 InputFormat生成相应的输入 split。　　

　　org.apache.hadoop.mapreduce.server.jobtracker ：该 Java 包维护了 JobTracker 可看到的 TaskTracker 状态信息和资源使用情况。　　　　　　

　org.apache.hadoop.mapreduce.server.tasktracker.*：TaskTracker 的一些辅助类。

3. MapReduce 安全机制相关

　　这里只涉及 org.apache.hadoop.mapreduce.security.*。这一系列 Java 包实现了 MapReduce 安全机制。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5065053.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371703

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive中自定义函数

Hive的自定义的函数的步骤: 1°、自定义UDF extends org.apache.hadoop.hive.ql.exec.UDF 2°、需要实现evaluate函数，evaluate函数支持重载 3°、把程序打包放到目标机器上去 4°、进入hive客户端，添加jar包：hive>add jar jar路径 5°、创建临时函数：hive> create temporary function 自定义名称 AS '自定义UDF的全类名' 6°、执行HQL语句； 7°、销毁临时函数：hive> drop temporary function 自定义名称在hive的hive-exec-1.0.0.jar中有如下结构(这是Hive中的内嵌函数的源码): 举一个例子:是<hive编程指南>中的一个经典案例. 统计显示生效和星座输入日期显示字符串. 如果是0就显示生肖,如果是1就显示星座. 示例代码如下: 1 import java.sql.Date; 2 import java.text.SimpleDateFormat; 3 import java.uti...

2017-11-14

590

1 import java.io.DataInput; 2 import java.io.DataOutput; 3 import java.io.DataOutputStream; 4 import java.io.FileOutputStream; 5 import java.io.IOException; 6 import java.io.ObjectOutputStream; 7 import java.io.Serializable; 8 9 import org.apache.hadoop.io.Writable; 10 11 public class Test2 { 12 public static void main(String[] args) throws IOException { 13 Student stu = new Student(1, "张三"); 14 FileOutputStream fileOutputStream = new FileOutputStream("d:/111"); 15 ObjectOutputStream objectOutpu...

2017-11-14

527

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。