0023-HOSTS配置问题导致集群异常故障分析-低调大师

0023-HOSTS配置问题导致集群异常故障分析

2018-11-19 651

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.问题现象

Hadoop集群HDFS、YARN、Hive等服务出现异常告警

重启集群异常告警任然存在大量告警

Cluster 1

HDFS

可用空间抑制...

NameNode 运行状况抑制...

HDFS 金丝雀抑制...

DataNode (ip-172-31-10-118) 日志文件

NameNode 连接抑制...

DataNode (ip-172-31-5-190) 日志文件

NameNode 连接抑制...

DataNode (ip-172-31-9-33) 日志文件

NameNode 连接抑制...

Hive Metastore Server (ip-172-31-6-148)  日志文件

Hive Metastore Canary 抑制...

Impala Daemon (ip-172-31-10-118)  日志文件

进程状态抑制...

Impala Daemon (ip-172-31-5-190)  日志文件

进程状态抑制...

Impala Daemon (ip-172-31-9-33)  日志文件

进程状态抑制...

NameNode (ip-172-31-6-148) 日志文件

安全模式状态抑制...

Server (ip-172-31-5-190) 日志文件

Quorum 成员资格抑制...

Zookeeper服务“Quorum 成员资格”告警

CM节点上的所有服务的角色日志不能正常通过ClouderaManager控制台查看，显示如下错误：

2.问题复现

集群环境：

CDH5.12.0
集群服务（HDFS/Hive/YARN/Zookeeper/Hue/Impala/Kudu/Oozie）

1.还原现场配置，所有服务器hosts配置文件配置

127.0.0.1   ip-172-31-10-156.ap-southeast-1.compute.internal
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.31.8.141 ip-172-31-8-141.ap-southeast-1.compute.internal
172.31.1.175 ip-172-31-1-175.ap-southeast-1.compute.internal
172.31.9.186 ip-172-31-9-186.ap-southeast-1.compute.internal
172.31.10.156 ip-172-31-10-156.ap-southeast-1.compute.internal

配置中的第一行配置为多出的异常配置。

在主机上ping自己的hostname显示

2.重启集群服务

CM出现如下大量告警

Cluster 1

HDFS
可用空间抑制...
    NameNode 运行状况抑制...
    HDFS 金丝雀抑制...
DataNode (ip-172-31-10-118)  日志文件
NameNode 连接抑制...
DataNode (ip-172-31-5-190)  日志文件
NameNode 连接抑制...
DataNode (ip-172-31-9-33)  日志文件
NameNode 连接抑制...
    Hive Metastore Server (ip-172-31-6-148)  日志文件
Hive Metastore Canary 抑制...
HiveServer2 (ip-172-31-6-148)  日志文件
进程状态抑制...
    Impala Daemon (ip-172-31-10-118)  日志文件
进程状态抑制...
    Impala Daemon (ip-172-31-5-190)  日志文件
进程状态抑制...
    Impala Daemon (ip-172-31-9-33)  日志文件
进程状态抑制...
NameNode (ip-172-31-6-148)  日志文件
安全模式状态抑制...
Server (ip-172-31-5-190)  日志文件
Quorum 成员资格抑制...
    ip-172-31-10-118
代理状态抑制...
    ip-172-31-5-190
代理状态抑制...
    ip-172-31-9-33
代理状态抑制...

Zookeeper与现场告警一致，且Zookeeper服务如下状态

在查看CM节点的日志出现如下异常“Connection refused”

Host列表监控状态

3.问题原因

集群在运行正常的情况下，所有节点的hosts文件被修改为127.0.0.1导致

4.解决方法

修改所有节点的hosts文件，将127.0.0.1行配置注释

重启集群服务恢复正常；

醉酒鞭名马，少年多浮夸！岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

微信关注我们

原文链接：https://yq.aliyun.com/articles/672022

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

分布式图数据库JanusGraph-简介

JanusGraph设计的目的是处理大图，单机无论是在存储和计算能力上都无法满足大图处理。大规模图实时计算和分析是JanusGraph最基本的优势。本节将讨论更多JanusGraph特有的优势以及它底层支持的存储方案。转自：JanusGraph中文翻译文档 1.1. JanusGraph 基本优势支持非常大的图。JanusGraph通过添加机器横向扩展集群。支持很大的并发事务处理和图操作处理。通过添加机器横向扩展JanusGraph的事务处理能力，可以在毫秒级别相应大图的复杂查询。支持使用Hadoop框架进行全局图分析和批量图处理。支持在很大的图上对顶点和边进行地理位置、数值范围、全文搜索。原生支持Apache TinkerPop 描述的当前流行的属性图数据模型。原生支持图遍历语言Gremlin。通过使用非编程的方式连接很容易与Gremlin Server集成提供了很多图级别配置选项用于调节性能。以顶点为中心的索引提供顶点级查询，以缓解臭名昭着的超级节点问题。提供优化的磁盘表示，从而允许有效地使用存储和访问速度。基于Apache 2 许可协议开放源码。 1.2....

2018-11-20

840

[译]介绍Spark2.4的用于处理复杂数据类型的新内置函数与高阶函数本文翻译自databricks的介绍spark2.4新特性的blog，英文原文参考原文链接 Apache Spark2.4总共支持了29个用于处理复杂数据类型（比如，数组类型等）的新内置函数和高阶函数。在Spark2.4版本之前，有两种典型的方式处理复杂数据类型：将嵌套结构的数据转化为多行数据，然后使用函数处理，最后再组装成嵌套结构。自己构建一个UDF。和之前不同，新的内置函数可以直接操作复杂数据类型，同时新的高阶函数可以使用匿名的lambda函数处理复杂数据类型，和UDF类似，但是性能大大提高。在本篇文章，我们将通过一些示例展示部分内置函数以及它们的具体用法。典型的处理方式我们首先来看一下Spark2.4以前典型的处理方式。选择1 - Explode and C

2018-11-20

748

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。