HBase工具之监控Region的可用和读写延时状况-低调大师

HBase工具之监控Region的可用和读写延时状况

2019-10-19 614

1、介绍 HBase集群上region数目由于业务驱动而越来越多，由于服务器本身，网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控，也可以反映出hdfs集群的状况

2、工具
org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况
Usage: bin/hbase org.apache.hadoop.hbase.tool.Canary [opts] [table 1 [table 2...]]
where [opts] are:
-help       Show this help and exit.
-daemon       Continuous check at defined intervals.
-interval <N>  Interval between checks (sec)

例如：执行${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.tool.Canary day_hotstatic 结果信息如下：
read from region day_hotstatic,860010-2061300100_20131109_10_visit_00000027262,1386598604054.22af453addaff05464e585e7d148987b. column family c in 4ms read from region day_hotstatic,860010-2061300100_20131201_2_exit_00000012418,1387389193938.9d19cd65ac9f9c3c2a04911cb73cfef7. column family c in 0ms

原理：它默认会取出Region的startKey,按照ColumnFamily分别执行一次Get操作，并打印出系统的延迟。对于Region出问题的情况下，会打印出failed的状态。

2、不足
1）无法提供Region服务异常的实时报警。
2）未提供对于延迟的监控与报警。

基于此,我们就可以添加相应的报警功能，找出延迟超过最高限或者Region有问题的Table，并通过邮件或者message及时告警。
在出现hfile文件无法seek或者Region offline的情况下，通过HBaseAdmin.assign(regionName)接口重新部署一次Region，这样可以避免：
①.Region上storefile不一致(与hdfs上region显示不一样),在compaction异常或者split过程中。通过重新assign下可以重新加载这部分数据
②.Region处于Offline状态，比如regionserver宕机，集群负载均衡等过程中region offline等

微信关注我们

原文链接：https://yq.aliyun.com/articles/568087

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive 简单SQL

1.创建表（1）内部表和外部表的区别默认创建的是内部表，可以指定目录，如果不指定则会创建默认目录，一旦drop,该目录和数据都会被删除创建external table 的时候需要指定存放目录，并且drop表的时候，不会删除该目录和目录下的数据，只会删除元信息 #创建一个外部表 0: jdbc:hive2://192.168.163.102:10000> create external table t10(c1 int,c2 string)row format delimitedfields terminated by ',' stored as testfilelocation "/dir1"; [root@Darren2 tmp]# hdfs dfs -put file1 /dir1 [root@Darren2 tmp]# hdfs dfs -ls -R /dir1 -rw-r--r--1 root supergroup24 2017-11-25 20:53 /dir1/file1 0: jdbc:hive2://192.168.163.102:10000> dro...

2019-10-19

635

对于当前的形势我一直有一个疑问，为何世界经济持续低迷，但网络犯罪活动却欣欣向荣。难道互联网真的是犯罪分子的天堂么?是否是高昂的投资回报率，使得恶意软件制作者们不断改进如Storm这样的蠕虫?貌似如此。 Storm卷土重来首先要提到的重大事件是由Storm 蠕虫创建的僵尸网络再度出现。2007年，Storm蠕虫曾经建立起了一个空前庞大的僵尸网络。不过在2008年初，由于微软发布了Malicious Software Removal Tool (MSRT)，这个僵尸网络几乎绝迹了。当时，随着微软在一个月内发布了多个Storm 变种的签名标记，MSRT几乎从30万台电脑中删除了Storm。与此同时，Secureworks 的主管Joe Stewart破解了这款恶意软件用来与命令和控制服务器通信的64-bit加密密钥。有了这个密钥，安全专家们将可以通过隔离和屏蔽点到点的内部节点通信的方式进一步降低Storm僵尸网络的有效性。 2008年8月，我曾经写了一篇名为《Storm蠕虫: 僵尸网络的巨无霸》的文章。文中，我指出了Storm开发者们的坚韧态度。那时候Storm好像正在筹划卷土重来，不过...

2019-10-19

637

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。