《Hadoop实战第2版》——1.2节Hadoop项目及其结构-低调大师

《Hadoop实战第2版》——1.2节Hadoop项目及其结构

2017-07-31 616

1.2　Hadoop项目及其结构
现在Hadoop已经发展成为包含很多项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统，但与Hadoop相关的Common、Avro、Chukwa、Hive、HBase等项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。图1-1是Hadoop的项目结构图。

e5cb0ed22300cecf011be58f23948f7282ff2cac

下面将对Hadoop的各个关联项目进行更详细的介绍。
1）Common：Common是为Hadoop其他子项目提供支持的常用工具，它主要包括FileSystem、RPC和串行化库。它们为在廉价硬件上搭建云计算环境提供基本的服务，并且会为运行在该平台上的软件开发提供所需的API。
2）Avro：Avro是用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程

微信关注我们

原文链接：https://yq.aliyun.com/articles/173936

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark Shuffle过程分析：Map阶段处理流程

默认配置情况下，Spark在Shuffle过程中会使用SortShuffleManager来管理Shuffle过程中需要的基本组件，以及对RDD各个Partition数据的计算。我们可以在Driver和Executor对应的SparkEnv对象创建过程中看到对应的配置，如下代码所示： //Lettheuserspecifyshortnamesforshufflemanagers valshortShuffleMgrNames=Map( "sort"->classOf[org.apache.spark.shuffle.sort.SortShuffleManager].getName, "tungsten-sort"->classOf[org.apache.spark.shuffle.sort.SortShuffleManager].getName) valshuffleMgrName=conf.get("spark.shuffle.manager","sort") valshuffleMgrClass=shortShuffleMgrNames.getOrElse(shuffl...

2017-08-01

484

这年头，凡事不和大数据挂钩，都不好意思出门了。网络安全也是，但是这次不仅是挂钩这么简单，人家还是有调查数据显示两者之间的关系的。 8月，为了了解网络安全大数据分析的现状、基于网络安全应用的Apache hadoop1与网络安全大数据分析之间的关系，安全研究中心 Ponemon Institute发布了一份《大数据网络安全分析研究报告》，该研究项目由大数据公司Cloudera出资赞助。在这项研究中，Ponemon Institute采访了592位美国IT及IT安全从业人士，10位网络安全技术高管，他们所在的企业和组织都已经建立了Apache Hadoop应用。所有受访者都是某种形式的大数据分析工具的使用者，部分参与者是Apache Hadoop平台的用户。 Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块(多次)运行在不同的节点上。除此之外，它还提供了一款分布式文件系统(HDFS)，数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。 Ponemon Institute的创始人Larry...

2017-08-01

460

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。