CentOS 6.2及最新操作系统部署Hadoop的注意事项-低调大师

CentOS 6.2及最新操作系统部署Hadoop的注意事项

2017-07-02 521

最近新采购的一批机器，由于intel cpu体系架构的改变，新机器的系统需要升级，选择了CentOS 6.2系统。

　　 1 在新机器上将MR业务开启后，导致整个集群都反应很慢，运行的job几乎都被卡住；通过ganglia监控发现，机器的system cpu超过30%，机器几乎是满负载的情况。

　　原因分析：

　　RHEL 6.2和6.3系统中包含了一个新特性，被称为“transparent hugepage compaction”，它和Hadoop负载不能很好的交互。相比于其他的 操作系统，这导致了严重的性能损失。Red Hat会在未来的更新中解决此问题。

　　 解决方法：把如下命令增加到开机启动中。

echo always > /sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

　　2 解决上述问题，把MR业务开启一段时间后，经常出现某个task卡死的情况，job会一直hang住，查看TT日志

2013-08-2006:12:31,050INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater withmapRetainSize=-1and reduceRetainSize=-1

2013-08-2006:12:31,053FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: unable to create newnative

thread

at java.lang.Thread.start0(Native Method)

at java.lang.Thread.start(Thread.java:640)

at org.apache.hadoop.mapred.ReduceTask$ReduceCopier.fetchOutputs(ReduceTask.java:1932)

at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:382)

at org.apache.hadoop.mapred.Child$4.run(Child.java:270)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1157)

at org.apache.hadoop.mapred.Child.main(Child.java:264)

　　从上面的日志看，是OOM的错误，不能创建新的进程。但查看该TT机器，内存充足，应该不是内存导致的问题。

　　后来又check了环境的配置，发现在以前RHEL 5.4系统中生效的ulimit的nproc限制，在新系统中并没有生效（可以通过ulimit -u查看）。google后得知，6.2系统中修改了这一配置，新的配置需要在里/etc/security/limits.d/90-nproc.conf设置生效。

[hdfs@hd0447-sw40 ~]$ cat /etc/security/limits.d/90-nproc.conf

# Default limit fornumber of user's processes to prevent

# accidental fork bombs.

# See rhbz #432903for

reasoning.

* soft nproc 1024

　　 在处理hadoop前期环境的时候，发现有些机器在没有业务的情况下机器负载很高的情况，这里也记录一下。

　　 1. 通过top命令发现plymouthd进程cpu负载达到近100%

　　解决方法：打开 /boot/grub/menu.lst , 去掉 “rhgb quiet”这两个参数，然后重启

　　2.power_saving死锁引起的高负载

　　解决方法：

　　方法1：rmmod acpi_pad，重启机器，机器将不支持电源节能；

　　方法2：在BIOS中开启ACPI支持，重启，更新内核至2.6.32-358.2.1.el6.x86_64；

　　方法3：在BIOS里设置禁用；

　　方法4：要将驱动程序列入黑名单，编辑 /etc/modprobe.d/blacklist.conf，然后添加blacklist acpi_pad。

　　开始使用方法1，解决了大多数机器power_saving死锁的问题，有些机器的整体负载还是会保持在10%以上，查看后发现还有部分power_saving进程，采用方法4，问题得以解决

最新内容请见作者的GitHub页：http://qaseven.github.io/

微信关注我们

原文链接：https://yq.aliyun.com/articles/135019

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm实时数据处理》一2.2　创建日志代理

本节书摘来华章计算机《Storm实时数据处理》一书中的第2章，第2.2节，（澳）Quinton Anderson　著卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2　创建日志代理现代企业架构由大量的解决方案组成，而每个方案都包含许多节点。有些MapReduce集群可以包含几百个节点。在操作系统和应用层上，每个节点又包含一组应用和服务。这些服务和应用又会产生大量不同类型的日志数据。如今人们已经越来越认识到日志数据在企业团体中的重要性，原因如下：对于IT运营团队维护系统运行来说，它是一种关键的信息来源。它对于在生产和系统测试阶段中发现问题和解决问题至关重要。它越来越成为一种商业价值来源，有价值的业务数据都包含在这种半结构化数据中，包括：风险和合规性数据业务运营数据网站分析数据安全信息财务预测数据为了利用这些具

2017-07-03

610

作为数据中心市场毋庸置疑的领导者，英特尔对数据中心的看法吸引了行业人士的密切关注，也在很大程度上代表了行业未来的大趋势。 “信息与通讯技术正处在一个激动人心的时代，这集中体现在三个变化上，就是云计算、网络转型以及数据分析，正是这三大变化驱动了数据中心行业的发展。”英特尔公司高级副总裁、数据中心事业部总经理柏安娜(DianeM. Bryant)在IDF主题演讲中如此指出。云将无所不在作为一项颠覆性技术，云计算已经出现了多年时间，展现出良好的成长性。其一，公有云上的交互会继续增加，例如微信红包仅推出2年，现在每个月可以发出40亿个;云端新服务每天都在推出，有越来越多的企业诞生在云中;其二，消费级服务是公有云主流，目前全球2/3的云计算能力在为消费者提供服务;其三，传统企业在私有云上的投资将继续增加，以增加效率和灵活性，并且利用云来创造新收益。 “未来我们会拥有数以十万计的云，能够交付数以百万计的服务，连接数十亿的设备，并产生几十亿TB的数据。而且云将大大扩展数字世界的边界，使得技术具有更大的、无处不在的可及性。”柏安娜表示。要想迅速设置一个云环境并不简单，云技术的起点就是要拥有一个非...

2017-07-03

576

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。