一个 Hadoop 老兵的自白-低调大师

一个 Hadoop 老兵的自白

2017-06-02 559

Apache Hadoop 是一个免费软件，但实际上，除非是拥有庞大工程师团队的大公司，否则最好不要去创建仅供内部使用的Hadoop版本，因为如果要购买技术支持，那 Hadoop 就不是免费的了。Jim Scott 是 MapR 企业战略&架构部门的负责人。2009年，他接触了自己的第一个 Hadoop 版本 Cloudera。他发现，Apache Hadoop 平台存在一些固有的设计缺陷。近日，他从以下几个方面分析了这些缺陷，并介绍了 MapR 的解决方案。

Append-only文件访问方式

HDFS 的 Append-only 文件访问方式是一个巨大的障碍，导致下游项目不得不解决这个问题。例如，HBase 就实现了“墓碑化（Tombstoning）”和“合并（Compactions）”功能。但是，如果这些动作发生在负载高峰期，会严重影响生产系统的性能。MapR 通过创建 MapR-DB 解决了该问题。MapR-DB 模仿了谷歌的 BigTable，支持 HBase API，是一个零管理实时数据库。

系统集成

HDFS 不兼容 POSIX 和 NFS。要查看 HDFS 中的文件，只能通过 HDFS 命令行接口来查询。MapR-FS 是一个操作系统级的文件系统，兼容 POSIX。查看该分布式文件系统中的文件，只需要使用 LS 命令。编辑其中的文件，也不需要专门的工具。Linux 中任何可以读写 NFS 系统的应用程序都可以读写 MapR-FS。

备份&恢复

Apache Hadoop 在灾难恢复和备份方面存在严重不足。Hadoop 的数据复制可以有效应对磁盘故障，但对数据损坏和人为错误无能为力。谨慎起见，在向生产环境部署新软件之前，需要生成一个数据快照。但是，Apache Hadoop 的快照只是一个元数据副本。而 MapR 快照则近乎是数据的瞬时拷贝，即使文件正在被写入也可以生成。并且，用户还可以生成 MapR-DB 表的快照。

维护&升级

任何优秀的企业应用程序都离不开维护、管理和升级，Hadoop 也不例外。但 Hadoop 的升级维护可能会非常麻烦。MapR 每次发布都会针对许多开源软件项目的多个版本进行测试。它是唯一一个支持在同一个集群上运行软件的不同版本的 Hadoop 版本。

开源软件选择

在使用 Hadoop 的时候，相关开源软件的选择是个难题。MapR 支持开放式 API，提供了一个无偏见的 Hadoop 开源软件集合，使用户能够选择自己需要的开源项目。

此外，Jim 还提到，NameNode 是个单点故障点。感兴趣的读者可以进一步阅读。

对 MapR 感兴趣的读者，可以下载 MapR M3 社区版本，免费体验 MapR 的性能。

文章转载自开源中国社区[https://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/111435

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapTask并行度决定机制、FileInputFormat切片机制、map并行度的经验之谈、ReduceTask并行度的决定、MAPRED...

1.3 MapTask并行度决定机制 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ 1.3.1mapTask并行度的决定机制一个job的map阶段并行度由客户端在提交job时决定而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()方法完成，其过程如下图： 1.3.2 FileInputFormat切片机制 1、切片定义在InputFormat类中的getSplit()方法 2、FileInputFormat中默认的切片机制： a)简单地按照文件的内容长度进行切片 b)切片大小，默认等于block大小 c)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片比如待处理数据有两个文件： file1.txt 320M file2.tx...

2017-06-03

580

在之前的新闻《Netflix企业文化与架构设计》一文中我们介绍了Netflix高扩展的企业文化与架构，而作为一家在线影片租赁提供商 Netflix之所以能够在如此大量的用户、海量的数据、复杂的拓扑结构下取得成功，离不开其背后的开源文化与技术。Netflix利用开源或者自己开发的技术，让公司能够在分布于全世界50多个国家的服务器上进行持续地构建和集成；能够对用户所产生的海量行为数据进行分析挖掘从而更好地推荐和改善自身服务；同时能够通过性能剖析和安全审计保护用户的隐私和数据，下面就让我们来盘点一下Netflix所使用或贡献的开源技术。大数据数据是无价的，为了向客户提供极致的服务，Netflix拥有一套完善的大数据技术生态系统用于用户数据的分析和挖掘。Netflix不仅使用 Hadoop、Hive、Pig、Parquet、Presto以及Spark等被广泛采用的开源技术，同时还开发并贡献了一些其他的工具和服务。 Genie：专为Hadoop生态系统定制的一组REST-ful服务集合，用于管理作业和资源,它有两个关键的服务：Execution Service和Configuration...

2017-06-03

546

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。