could't create native thread的问题跟踪-低调大师

could't create native thread的问题跟踪

2017-11-08 664

一、问题描述

之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.blog.51cto.com/782246/1879975
nodeManager仍然出现该异常，同时map-reduce的任务中也出现该异常

二、一些现象

跑了一个map-reduce任务，这个任务处理的都是小文件，最后生成了2万多个map任务。这个job中许多任务出现java.lang.OutOfMemoryError: unable to create new native thread，观察了这个job的一些任务，发现这个任务的thread stack持续增长，最后有7000多个thread，最后导致java.lang.OutOfMemoryError: unable to create new native thread，因为每个map任务分配的内存为800m，ThreadStackSize是默认值1024k，最后导致内存耗尽。任务的线程栈中持续一下输出：

 
         "Thread-3689" 
         daemon prio=10 tid=0x00007fb6bf364000 nid=0x2331 
         in 
         Object.wait() [0x00007fb5b9b94000] 
        
         java.lang.Thread.State: TIMED_WAITING (on object monitor) 
        
         at java.lang.Object.wait(Native Method) 
        
         at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638) 
        
         - locked <0x00000000f89800d0> (a java.util.LinkedList) 
        
         "Thread-3688" 
         daemon prio=10 tid=0x00007fb6bf362000 nid=0x10a9 
         in 
         Object.wait() [0x00007fb5b9c95000] 
        
         java.lang.Thread.State: TIMED_WAITING (on object monitor) 
        
         at java.lang.Object.wait(Native Method) 
        
         at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638) 
        
         - locked <0x00000000f89701c0> (a java.util.LinkedList) 
        
         "Thread-3687" 
         daemon prio=10 tid=0x00007fb6bf35a800 nid=0xf23 
         in 
         Object.wait() [0x00007fb5b9d96000] 
        
         java.lang.Thread.State: TIMED_WAITING (on object monitor) 
        
         at java.lang.Object.wait(Native Method) 
        
         at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638) 
        
         - locked <0x00000000f89681c0> (a java.util.LinkedList) 
        
         "Thread-3686" 
         daemon prio=10 tid=0x00007fb6bf358800 nid=0xde9 
         in 
         Object.wait() [0x00007fb5b9e97000] 
        
         java.lang.Thread.State: TIMED_WAITING (on object monitor) 
        
         at java.lang.Object.wait(Native Method) 
        
         at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638)

三、猜测

1、nodemanager的异常可能与这个有关，当该map-reduce所有任务调度到一台机器（大概40个container），每个container中任务都生成7000个thread(生成很多小文件？)。导致耗尽max user processes（262144）。但nodemanger需要new thread的时候，出现java.lang.OutOfMemoryError: unable to create new native thread。（ps 昨天这个任务确实在定时跑）

2、可能是hadoop/yarn某些地方的内存溢出问题。参见一个类似的问题。https://issues.apache.org/jira/browse/YARN-4581

四、后记

hadoop处理大量小文件，要使用org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat，并设置mapreduce.input.fileinputformat.split.maxsize = 5147483648

本文转自 zouqingyun 51CTO博客，原文链接：http://blog.51cto.com/zouqingyun/1879976，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/460644

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark 分析网站排名热度

需求: / 解决是一个各个子模块内的热度排名--》排名得用sortBy ---》（可能就是简单的排序，或者是二次排序） ---》 // 前面有一个wordCount---》算出次数出来 --》考虑什么作为key //算的一个网站下面，每个子模块下面的网页热度前2名： // 算的一个网站下面，每个子模块下面的网页热度前2名 --》每个子模块下面的网页的次数的前2名 // 在实际开发中，真正代码时间可能只占20-30% ，其他时间都在理解需求，想思路 importjava.net.URL importorg.apache.spark.{SparkConf,SparkContext} objectData_anlysis{ defmain(args:Array[String]){ valconf=newSparkConf().setAppName("data-anysis").setMaster("local[2]") valsc=newSparkContext(conf) vallinesRDD=sc.textFile("d://web_data.log") valrdd01=...

2017-11-09

485

作为Hadoop初学者，自然要从安装入手。而hadoop的优势就是分布式，所以，也一定要安装分布式的系统。整体安装步骤，包括Zookeeper+HDFS+Hbase，为了文章简洁，我会分三篇blog记录我的安装步骤。本文记录的是集群环境准备，zookeeper的安装步骤。 ~~~~~~~~~~~环境准备部分~~~~~~~~~~~~~~~~~ IP部署规划（准备了三个虚拟机，操作系统是Centos6.7） Zookeeper主机分配 1 2 3 192.168.67.101c6701 192.168.67.102c6702 192.168.67.103c6703 HDFS主机分配 1 2 3 192.168.67.101c6701 --Namenode+datanode 192.168.67.102c6702 --datanode 192.168.67.103c6703 --datanode Hbase主机分配 1 2 3 192.168.67.101c6701 --Master+region 192.168.67.102c6702 --region 192.168.67.103c6...

2017-11-09

521

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。