《Hadoop MapReduce性能优化》一2.4　用Apache Ambari监测Hadoop-低调大师

《Hadoop MapReduce性能优化》一2.4　用Apache Ambari监测Hadoop

2017-05-01 600

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第2章，第2.4节，作者：【法】Khaled Tannir 译者：范欢动责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.4　用Apache Ambari监测Hadoop

Hadoop MapReduce性能优化
Apache Ambari项目简化了Hadoop管理和集群监测，其主要目标是在多实例环境下简化Hadoop集群的部署与管理。

Ambari提供了一组直观、易用的监测Hadoop集群的工具，隐藏了Hadoop框架的复杂性。它通过向管理员暴露RESTful API来允许与其他系统集成。而且，Ambari依赖Ganglia和Nagios的度量结果，在需要时（如节点故障、磁盘空间不足等）使用报警系统发送电子邮件，以引起管理员的注意。除此之外，Ambari通过安装安全（基于Kerberos）的Hadoop集群，提供基于角色的用户认证、授权、审计，并与LDAP和活动目录（Active Directory）集成进行用户管理，为Hadoop安全提供支持。

如果用Apache Ambari构建Hadoop集群，也可以用它构建监测工具，比如Ganglia或者Nagios。

微信关注我们

原文链接：https://yq.aliyun.com/articles/97055

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce性能优化》一2.3　性能监测工具

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第2章，第2.3节，作者：【法】Khaled Tannir 译者：范欢动责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.3　性能监测工具 Hadoop MapReduce性能优化监测Hadoop集群节点的系统资源（如CPU利用率和磁盘平均数据传输率）有助于理解硬件资源的总体利用情况，并在诊断性能问题时找出瓶颈。Hadoop集群监测包括集群节点上系统资源使用情况的监测和核心服务指标的监测。最常监测的资源包括I/O带宽、每秒磁盘I/O操作的次数、平均数据传输率、网络延迟、平均内存和交换空间利用情况。 Hadoop性能监测建议收集性能计数器的数据，这样做是为了判断各种任务的响应时间是否在可接受的执行时间范围内。MapReduce任务的利用率平均百分比和一个时间段内的HDFS存储容量指明了集群资源是得到了最优利用还是利用不足。 Hadoop提供了大量用于监视与调试Hadoop服务的指标与信息源。这些系统与服务指标需要从集群节点收集并进行关联，以便分析Hadoop集群的整体状态，并诊断发现的问题...

2017-05-02

555

Preface前言《ELK Stack权威指南》第1版面世之后的这一年多时间里，ELK Stack在Elastic.co公司以及社区的共同努力下飞速发展。国内外都出现了不少基于ELK Stack实现的日志分析产品和创业公司。ELK Stack已经成为DevOps技术栈中必不可缺少的一个部分，较大型的互联网公司甚至已经配备有专职的ELK Stack管理团队。对于并不精通ELK Stack技术及其发展历史的人来说，过去复杂的版本对应是新手的第一道门槛。最近全新更新的ELK Stack各组件，统一使用5.x系列版本号，大大方便了新手入门。而5.x系列同样携带了大量崭新的特性，在日志分析、监控告警等场景，带来性能提升、管理简化、功能丰富等诸多好处。推荐广大读者积极尝试和升级。 IT运维模式正在向数据驱动、精细化、智能化发展。这个过程中，

2017-05-02

689

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。