每日一博 | 进程无故消失的破案历程-低调大师

每日一博 | 进程无故消失的破案历程

2020-03-18 615

概述

前段时间公司有个系统的进程老是无故退出，在客户那边好好的，在家里服务器上老是出现，而且出现的时间也没啥规律，当然最终查出来还是有规律的，不过这个规律比较特别。大家看了后面的内容之后就明白了，真的很特殊！

初步分析进程Crash？

当同事找到我的时候，我第一反应是是不是进程Crash了，如果是crash，那通常情况下会有crash的日志，检查了一遍，什么日志都没有留下，当然有时候Crash了，JVM也确实也不会留下Crash日志，不过这个特别罕见了，绝大部分是人为操作了。

被OS Kill？

既然不是Crash，那是不是系统存在内存泄露，被OS Kill了，不过很快通过dmesg也排除了，因为没有看到任何kill的迹象。

System.exit?

排除掉以上两个因素之后，接着马上就怀疑是否有什么代码执行过System.exit，于是重新编译了一把JDK，在System的exit方法处打印了些日志，于是坐等奇迹的发生。

令人兴奋的是，进程真的消失了，可是令人遗憾的是，我们埋点的日志并没有出现。这让我再次陷入沉思。

回归源码

从日志看确实是调用了ShutdownHook

于是找到addShutdownHook源码的位置

再次翻了一下JDK的源码，除了正常退出，System.exit等之外还有哪些情况会调用这个Shutdown的Hook，于是将埋点埋到了Shutdown.runHooks方法里。

继续等待事情再次发生，果然没多久，当天下午又发生了，打印了如下日志

也就是说当时是收到了一个SIGHUP的信号，这个信号最终会让进程退出，JVM对这个信号确实是没有特殊处理的，因此没有我们看到的Crash日志。

那接下来就是要找到为什么会收到这个信号了，这个信号又是谁发出的。

找出信号源

SIGHUP这个信号，最主要发生的场景是Shell终端关闭一个Session的时候会对该Session关联的进程发送一个SIGHUP信号，这个信号默认是会退出进程的。为此我还特地下载了ITerm2(我和同事都是mac，用的iTerm2的终端)的源码，还真找到了几个发送SIGHUP信号的代码

看名字PTYTask就能猜到了，这应该是一个seesion任务，于是进到代码里看到主要是有两个方法有发送SIGHUP信号给子进程，分别是dealloc和stop，其中stop会通过sendSignal函数给子进程发送SIGHUP信号。对于我这种比较喜欢自虐的人，一般会想怎么就确定这个就是我要找的代码，之前从没有写过Object-C的代码，想着是否有个类似java的jmap的工具可以让我看内存里的对象的情况，然而临时没找到，不过偶然发现mac自带的Activity工具就能看到一些迹象，于是在Activity里找到了iTerm2进程，然后对其内存数据进行了采样，看能否抓到类似PTYTask. dealloc或者stop的调用栈，可是比较难模拟，因为存在时间差，点击采样的时候，很快就结束了，我还没来得及关闭session。在看采样报告的时候偶然看到了/usr/bin/sample的命令，原来Activity是采用这个命令进行采样的，于是摸索了一把，真能搞起来，采样的时间可以自定义，间隔是1ms一次，这样可以让我有充足的时间来操作了，于是在采样开启之后，不断地开一个session，起一个进程，然后close，重复做了好几次，结束采样之后看采样的输出，还真的就抓到了PTYTask.stop的调用栈

这也就验证了我close session的时候确实会给对应的子进程发送SIGHUP的信号。

那到此为止我们可以确认的是

进程退出是因为收到了信号SIGHUP
而SIGHUP的发生是因为终端Session Close 那到底是不是这种情况呢？

重新复盘问题现场

这个貌似不太可能，因为我们的shell脚本里执行java的时候都会带上&，这样进程就会后台运行，不会出现这种session的问题。看了下脚本，确实是带上了&的，自己也模拟了几遍，在一个shell里调用带有&的java命令，关闭终端java进程并不会退出。难道是因为同事的终端配置和我的不一样？后来要同事发了它的iTerm2里的seesion的配置给我看了下，和我的完全一样，这就挺奇怪了。

于是再回过来看看之前的几次进程消失时候的日志(我要同事有保留)，看到那几个进程退出的时间点，分别是

2019-01-14 20:42:52* 2019-01-15 18:34:00* 2019-01-18 00:57:58* 2019-01-18 17:34:30

这几个时间点完全没有规律看起来，不过我突然想起2019-01-18那天是周五，同事是在上海出差，而17:34:30那会应该是快下班了，或者那会正好从上海赶车回杭州，于是问了下那个点同事是不是准备回杭州了，同事说那会确实合上电脑准备赶车回杭州，于是我接着问其他几个时间是不是差不多也是合上电脑的时间，结果还真是那么巧，既然这样，那说明我们的判断方向是正确的了。

水落石出

后面突然发现同事修改过这个启动脚本，在脚本的最后加了行命令

java xxxx &cd $DIR_LOG && tail -f common-*.log

难道是这个命令搞的鬼？

突然想起一个问题来，父子进程的问题，假如说当我们在shell里加了&跑的话，当父进程跑完之后，会直接将其挂到init进程下面，也就是你通过ps -ef去看它的父进程会是1号进程，但是如果原来的父进程没有跑完，那其父进程仍然会是原来的进程，所以当我们执行这个脚本的时候，一直被执行tail等待日志输出，这样一来，如果我们将当前窗口关闭了，那就意味着父进程会退出，然后给子进程发送SIGHUP的信号，于是导致java进程退出，但是如果我们在tail日志过程中ctrl c了，那java进程会过继给init进程，因此此时当我们再关闭窗口的时候也不会给其发送SIGHUP的信号了。

经过验证果然如此，至此这个消失的进程终于得到了解释，嗯，好在不是我们代码的问题，值得欣慰，毕竟我们的代码是要在客户那边运行的，必须要保证好稳定性。

欢迎关注 PerfMa 社区，推荐阅读：

小心踩雷，一次Java内存泄漏排查

跟Kafka学技术系列之时间轮

微信关注我们

原文链接：https://my.oschina.net/PerfMa/blog/3192361

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Gitee 项目拓扑图 —— 密集恐惧症犯者谨慎进入

公司里有那么多人，那么多项目，那么多仓库，还有几个部门。他们之间的关系是怎样的？晕不晕？我们换一种方式来展示这些对象之间的关系：是不是更晕了？这就是典型的密集恐惧症啊！这是开源中国的项目拓扑图，我们公司一百多号人，七百多个仓库，看起来就是密密麻麻如蜘蛛网般。点击其中一个项目（如下图），这回要舒服多了吧？这就是 Gitee 企业版新的小特性 —— 项目拓扑图，通过图的方式来展示项目、团队、成员、仓库之间的逻辑关系。你可以进入 Gitee 企业版 -> 项目 -> 项目拓扑图查看。更多 Gitee 企业版特性请前往：https://gitee.com/enterprises

2020-03-18

991

Friso 是使用 c 语言开发的一款开源的高性能中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入其他程序中，例如：MySQL，PHP，并且提供了php5, php7, ocaml, lua的插件实现。源码无需修改就能在各种平台下编译使用，加载完 20 万的词条，内存占用稳定为 14.5M。关于本次更新： Friso 最近的一次更新是2017年，之后除了bug修复，也没有再增加新的功能特性，同是17年Friso被嵌入了RediSearch作为对中文分词的支持，也发现有些开发者将Friso嵌入了Mysql数据中，近期邮件收到了很多的反馈，决定给Friso增加一些新的功能特性目标是让其更适合搜索。与RediSearch的更紧密结合可以参考我给RediSearch提交的tokenizer的改造建议：https://github.com/RediSearch/RediSearch/issues/1084 Friso 1.6.4更新如下： 1、README完善了针对最新版本的详细的文档，各平台的编译，测试，配置，词库的管理等。 2、PHP5和PHP7扩展...

2020-03-18

727

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。