EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器-低调大师

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

2022-09-15 462

大数据运维的挑战—如何保证集群稳定与运行效率

企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务，都会提升运维难度。作为支撑平台，大数据集群的稳定性和运行效率，会直接影响到公司业务的正常运作和发展。

集群管理员往往对整体集群做好了监控运维体系，对于大数据集群，简单的监控运维体系能够帮助管理员在遇到故障的时候定位问题。但对于整体集群的运行效率，集群的状态，通过单纯的监控指标很难给出一个全面的解答。

对于大数据集群，管理员以及 CIO 等更关注以下的内容：

集群内的节点的运行状态和资源使用状况；
运行在集群上的服务组件的状态监控和异常处理，包括 YARN、HDFS、Hive 和 Spark 等；
计算任务运行情况和执行效率；
整体集群的健康程度和如何改进。

面对运维挑战，EMR重磅推出：智能运维诊断系统(EMR Doctor)

为了提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor（简称EMR Doctor）。 EMR Doctor 作为开源大数据集群的管家，会自动每日巡检集群。集群管理员只需要定期查看健康检查报告，并且根据报告中的建议对集群做相应的优化调整，即可全局了解集群的健康状况和动态走势，并保持集群的健康度。

如何使用 EMR Doctor

进入 EMR 控制台健康检查页面。
1. 登录 EMR on ECS 控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 在集群管理页面，单击目标集群的集群ID。
4. 单击上方的健康检查页签。
在健康检查页面，您可以看到当前集群的健康检查报告（T+1）。健康状态列显示了该集群的健康度，您可以点击查看报告进入检查报告页面。

健康检查报告中包含集群计算资源的总体分析

健康检查报告中包含计算任务从各个维度的排名并给出任务调优建议

健康检查报告中包含对集群存储的总体分析，以及大小文件和冷热数据的详细分析

健康检查报告主要分析内容如下，更详细说明请参见查看健康检查状态和报告

计算资源分析	概述	状态概述
		需要关注的问题
	计算基础信息	集群计算评分
		集群算力内存时
		集群算力CPU时
		计算引擎内存算力时
	计算任务信息	计算任务算力内存时分析
		计算任务评分排行榜
	Spark	Spark任务算力分析及调优建议
	Tez	Tez任务算力分析及调优建议
	MapReduce	MapReduce任务算力分析及调优建议
HDFS存储资源分析（需开启存储资源信息采集开关）	概述	状态概述
		需要关注的问题
	HDFS基础信息	HDFS存储资源使用趋势
		文件总数随时间变化趋势
		评分趋势
	HDFS文件大小分布	HDFS文件大小比例

		一级目录空文件个数Top10
		一级目录极小文件个数Top10
		一级目录小文件个数Top10
		一级目录中等文件个数Top10
		一级目录大文件个数Top10
	HDFS冷热数据分布	HDFS冷热数据
		一级目录极冷数据大小Top10
		一级目录冷数据大小Top10
		一级目录温数据大小Top10
		一级目录热数据大小Top10
HIVE存储资源分析（需开启存储资源信息采集开关）	概述	状态概述
		需要关注的问题
	Hive基础信息	存储趋势
		文件数量趋势
		评分趋势
	Hive库信息	库存储排名
		库文件总数排名
		库评分
	Hive表文件大小分布	Hive表文件大小分布比例
		Hive表空文件个数Top10
		Hive表极小文件个数Top10
		Hive表小文件个数Top10
		Hive中等文件个数Top10
		Hive大文件个数Top10
	Hive冷热数据分布	Hive冷热数据分布
		Hive表极冷数据大小Top10
		Hive表冷数据大小Top10
		Hive表温数据大小Top10
		Hive表热数据大小Top10
	Hive表存储格式分布	Hive表存储格式分布
		Hive表TextFile/Parquet/ORC格式文件分析

如何开通EMR Doctor

开通及使用咨询问题请见 EMR Doctor常见问题

EMR-3.39.0之前版本、EMR-5.5.0之前版本，EMR-4.10之前版本需要手动开通健康检查功能，请参见开通指南
EMR-3.39.0及更高版本，EMR-5.5.0及更高版本，EMR-4.10及更高版本默认提供健康检查功能，无需手动开通。

欢迎钉钉扫码加入EMR Doctor用户技术交流群

获取集群运维最新功能和最佳行业实践~

微信关注我们

原文链接：https://my.oschina.net/u/5583868/blog/5578006

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Java 数据结构与算法》第7章：字典树

持续坚持原创输出，点击蓝字关注我吧作者：小傅哥博客：https://bugstack.cn ❝ 沉淀、分享、成长，让自己和他人都能有所收获！😜 ❞ 一、前言二、字典树数据结构三、字典树结构实现 1. 树枝节点 2. 插入元素 3. 索引元素四、字典树功能测试五、常见面试题一、前言 Trie 的历史字典树 Trie 这个词来自于 retrieval，于 1912 年，Axel Thue 首次抽象地描述了一组字符串数据结构的存放方式为 Trie 的想法。这个想法于 1960 年由 Edward Fredkin 独立描述，并创造了 Trie 一词。你看看，多少程序员为了一个词、方法名、属性名，想破脑袋！二、字典树数据结构在计算机科学中，字典树(Trie)也被称为”单词查找树“或”数字树“，有时候也被称为基数树或前缀树（因为可以通过前缀的方式进行索引）。—— 它是一种搜索树，一种已排序的数据结构，通常用于存储动态集或键为字符串的关联数组。与二叉查找树不同，键不是直接保存在节点中，而是由节点在树中的位置决定。一个节点的所有子孙都有相同的前缀，也就是这个节点对应的字符串，而根...

2022-09-14

401

介绍锁机制技术是为了解决问题而生的，锁被用来实现隔离性，保证并发事务的正确性。两段锁 & 一次封锁两段锁数据库遵循的是两段锁协议，将事务分成两个阶段，加锁阶段和解锁阶段（所以叫两段锁）加锁阶段：在加锁阶段只能进行加锁操作。如果事务要读取对象，必须先获得共享锁。可以有多个事务同时获得一个对象的共享锁如果事务要修改对象，必须先获得独占锁。只能有一个事务获得对象的独占锁。如果某个事务已经获得了对象的独占锁，则其他尝试获取锁（包括共享锁、独占锁）的事务必须等待，直到加锁成功才能继续执行解锁阶段：在解锁阶段只能进行解锁操作。事务要读取对象，必须先获得共享锁，这样防止幻读。事务要修改对象，必须先获得独占锁，这样防止脏写。两段锁可以这样来实现：事务开始后就处于加锁阶段，一直到执行 rollback 或 commit 之前都是加锁阶段。rollback 和 commit 使事务进入解锁阶段，即在 rollback 或 commit 时释放持有的锁。一次封锁一次封锁法遵守两段锁协议。一次封锁要求每个事务必须一次将所有要使用的数据全部加锁，否则就不能继续执行。一次封锁...

2022-09-15

310

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。