CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象 在zabbix系统中，对Hadoop集群的历史监控数据分析时，发现在执行大Job任务时，某些服务节点的cpu sys态很高； 具体以hadoop_A服务节点为例，在10:15-10:40这个时间段，cpu user态为60%，而sys态则高达35%； 对于整个Hadoop集群，并不是所有的节点都会出现sys过高的问题，产生此类问题的都是部署CentOS6系统的节点。 定位分析 根据zabbix系统中cpu sys很高的问题发生时间，找到触发问题的大Job，以便于后面的问题重现和问题验证； 对问题节点hadoop_A的硬件信息和OS系统日志/var/log/messages进行初步检查，并未发现异常； 重启Job，重现问题。并使用nmon工具对问题节点hadoop_A的资源负载进行粗粒度的实时监测； hadoop_A节点上某一时刻瞬时的负载状态如下图： 通过上图，注意到网络流量达到了119.7MB/s，接收和发送的峰值都超过了120MB/s，初步怀疑网口在某一时间成为瓶颈，导致内核的sys过高。对hadoop_A的网口计数器细化分析，系统在uptime了83天的状态下，网口计数...
