首页 文章 精选 留言 我的

精选列表

搜索[部署]，共10000篇文章
优秀的个人博客,低调大师

CentOS 6.2及最新操作系统部署Hadoop的注意事项

最近新采购的一批机器，由于intel cpu体系架构的改变，新机器的系统需要升级，选择了CentOS 6.2系统。 1 在新机器上将MR业务开启后，导致整个集群都反应很慢，运行的job几乎都被卡住；通过ganglia监控发现，机器的system cpu超过30%，机器几乎是满负载的情况。 原因分析： RHEL 6.2和6.3系统中包含了一个新特性，被称为“transparent hugepage compaction”，它和Hadoop负载不能很好的交互。相比于其他的 操作系统，这导致了严重的性能损失。Red Hat会在未来的更新中解决此问题。 解决方法：把如下命令增加到开机启动中。 echo always > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 2 解决上述问题，把MR业务开启一段时间后，经常出现某个task卡死的情况，job会一直hang住，查看TT日志 2013-08-2006:12:31,050INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater withmapRetainSize=-1and reduceRetainSize=-1 2013-08-2006:12:31,053FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: unable to create newnative thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:640) at org.apache.hadoop.mapred.ReduceTask$ReduceCopier.fetchOutputs(ReduceTask.java:1932) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:382) at org.apache.hadoop.mapred.Child$4.run(Child.java:270) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1157) at org.apache.hadoop.mapred.Child.main(Child.java:264) 从上面的 日志看，是OOM的错误，不能创建新的进程。但查看该TT机器，内存充足，应该不是内存导致的问题。 后来又check了环境的配置，发现在以前RHEL 5.4系统中生效的ulimit的nproc限制，在新系统中并没有生效（可以通过ulimit -u查看）。google后得知，6.2系统中修改了这一配置，新的配置需要在里/etc/security/limits.d/90-nproc.conf设置生效。 [hdfs@hd0447-sw40 ~]$ cat /etc/security/limits.d/90-nproc.conf # Default limit fornumber of user's processes to prevent # accidental fork bombs. # See rhbz #432903for reasoning. * soft nproc 1024 在处理hadoop前期环境的时候，发现有些机器在没有业务的情况下机器负载很高的情况，这里也记录一下。 1. 通过top命令发现plymouthd进程cpu负载达到近100% 解决方法：打开 /boot/grub/menu.lst , 去掉 “rhgb quiet”这两个参数 ，然后重启 2.power_saving死锁引起的高负载 解决方法： 方法1：rmmod acpi_pad，重启机器，机器将不支持电源节能； 方法2：在BIOS中开启ACPI支持，重启，更新内核至2.6.32-358.2.1.el6.x86_64； 方法3：在BIOS里设置禁用； 方法4：要将驱动程序列入黑名单，编辑 /etc/modprobe.d/blacklist.conf，然后添加blacklist acpi_pad。 开始使用方法1，解决了大多数机器power_saving死锁的问题，有些机器的整体负载还是会保持在10%以上，查看后发现还有部分power_saving进程，采用方法4，问题得以解决 最新内容请见作者的GitHub页：http://qaseven.github.io/
2017-07-03
优秀的个人博客,低调大师

【Spark Summit East 2017】为容器优化Spark部署：隔离、安全与性能

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。
2017-02-19

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Docker HarmonyOS6 Nacos3 Kubernetes Gemini3 Jdk25 SpringCloud DeepSeek OpenAi Rocky Service Mesh SpringBoot4 Redis

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册