线上消息堆积与感想

【环境介绍】
1.应用服务器部署在阿里云
2.消息中间件使用阿里云RocketMQ

前两天线上发生了MQ消息堆积的情况,在我的知识认知里,消息堆积的原因是消费者消费能力差,无法及时消费消息,才会导致消息堆积.
那么有哪些因素会导致消费者消费能力差呢? 我目前的理解有三种情况
1.Dubbo的RPC调用时间太久
2.查询数据库或者插入数据太久
3.业务中还有其他耗时操作,比如发送邮件

记得以前看博客的时候,似乎看到过说发送邮件耗时久导致消息堆积的情况, 而现在就发生在自己身上,真是冥冥之中自有安排.

发生消息堆积,查看阿里云上的线程堆栈信息

从线程堆栈上来看,线程在发送邮件,准确说在连接. 根据代码分析以及一段时间的观察线程,断定就是发送邮件的逻辑导致的.临时注释掉这段代码,重新发布,问题解决.

其实发送邮件并不会耗时太久, 而根据阿里云ARMS上的错误显示,消息消费失败总耗时2min. 为什么发送邮件(准确说是连接)会这么久. 因为那段发送邮件的代码在本地测试,只耗时1s左右.

<dependency> <groupId>javax.mail</groupId> <artifactId>mail</artifactId> <version>1.4</version> </dependency> 

 import javax.mail.Authenticator; import javax.mail.BodyPart; import javax.mail.Message; import javax.mail.Message.RecipientType; import javax.mail.MessagingException; import javax.mail.Multipart; import javax.mail.PasswordAuthentication; import javax.mail.Session; import javax.mail.Transport; import javax.mail.internet.InternetAddress; import javax.mail.internet.MimeBodyPart; import javax.mail.internet.MimeMessage; import javax.mail.internet.MimeMultipart; import java.util.Date; import java.util.HashMap; import java.util.Map; import java.util.Properties; public static void main(String[] args) { long start = System.currentTimeMillis(); try { // 配置仅为了文章说明,并不是真实配置 Mail mail = new Mail("xyz@qq.com", "password"); mail.addToAddress(Mail.ReceiveType.TO, "opq@qq.com"); mail.setMailInfo(Mail.Mode.TEXT_MAIL, "这是测试数据", "这是测试数据"); mail.send(); } catch (Throwable e) { System.out.println(e.getMessage()); } long end = System.currentTimeMillis(); System.out.println(end - start); } 

我把上面的代码在线上机器测试,发现耗时的确在2min. 为了描述, 我这里以我自己的阿里云服务器做演示.

测试了两次,耗时都在1min. 接下来通过strace命令查看系统调用, 看下具体耗时在哪个系统调用上.

关于如何使用strace命令查看系统调用,在我之前的文章中也有过一些介绍

邮件发送默认使用25号端口,搜索下关键字25

grep -iE 'connect.25' strace

在连接邮件服务器25号端口的时候,超时了.

为什么本地耗时1s, 而在阿里云上的机器就耗时这么久呢? 原因只要一个

阿里云默认禁用了25号端口,所以导致连接超时.

在本次事件中,还发现一个情况

消息已经消费成功,可是MQ Broker依然投递消息. 简单咨询了阿里云客服,也没给我个具体原因.

请回答
常见消费者消费慢的因素有哪些?
消费慢的时候,要查看下线程堆栈,观察线程都在干啥
你会使用strace命令查看系统调用吗?

 

 

如上图,目前给我的感觉,作为一个Java码农或者工程师,系统上应该要对以上四个都要熟悉.
你不仅要会使用Java层面的Map,Thread,AQS等等, 当它调用到native方法时候,你还要去JVM层面追踪查看具体的实现,JVM层面可是C或者C++语言. 还有它最终调用到的系统调用是哪个. 而绝大多数人都停留在Java层面,当然这个层面达到精通也很难. 了解JVM的更少了, 能够继续向下了解C和Linux的那就凤毛麟角了.

你掌握的技术,一个刚毕业的学生在2个月或者半年就掌握了,但是别人掌握的知识,你未必在1-2年能掌握. 这或许就是人与人之间的区别.  你是哪种人呢?

做技术真的挺难的...