redis服务又出现卡死,又是一次不当使用,这个锅你背定了
首先说下问题现象:内网sandbox环境API持续1周出现应用卡死,所有api无响应。刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应用,应用恢复正常,于是没做处理。但是后来问题出现频率越来越频繁,越来越多的同事开始抱怨,于是感觉代码可能有问题,开始排查。首先发现开发的本地ide没有发现问题,应用卡死时候数据库,redis都正常,并且无特殊错误日志。开始怀疑是sandbox环境机器问题,测试环境本身就很脆!_!于是ssh上了服务器 执行以下命令top 这时发现机器还算正常,于是打算看下jvm 堆栈信息先看下问题应用比较耗资源的线程执行top -H -p 12798 找到前3个相对比较耗资源的线程jstack 查看堆内存 jstack 12798 |grep 12799的16进制 31ff 没看出什么问题,上下10行也看看,于是执行 看到一些线程都是处于lock状态。但没有出现业务相关的代码,忽略了。这时候没有什么头绪。思考一番,决定放弃这次卡死状态的机器。为了保护事故现场,先 dump了问题进程所有堆内存,然后debug模式重启测试环境应用,打算问题再出现时直接远程debug...






