同事线上埋的这个坑，我整整找了3天3夜-低调大师

同事线上埋的这个坑，我整整找了3天3夜

2020-07-30 667

云栖号资讯：【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！

对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。

本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。

一、项目简要情况概述

该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下：
(1)项目为SSM架构
(2)服务器类别：1台负载均衡服务器(F5),3台运用程序服务器，1台计时器服务器,1台redis服务器，1台图片服服务器和1台基于Pass架构的Mysql主从服务器(微软云)
(3)调用逻辑：下图为简要调用逻辑

二、何为单体架构项目

从架构发展角度，软件项目经历了如下阶段的发展：
1.单体架构：可理解为传统的前后端未分离的架构
2.垂直架构：可理解为前后端分离架构
3.SOA架构：可理解为按服务类别，业务流量，服务间依赖关系等服务化的架构，如以前的单体架构ERP项目，划分为订单服务，采购服务，物料服务和销售服务等
4.微服务：可理解为一个个小型的项目，如之前的ERP大型项目，划分为订单服务(订单项目)，采购服务(采购项目)，物料服务(物料项目)和销售服务(销售项目)，以及服务之间调用

三、本SSM项目引发的线上问题

1.当秒杀的时候，cpu暴增
该系统每天秒杀分为三个时间端：10点，13点和20点，如下为秒杀的简要页面

2.单台运用服务器cpu

3.单台运用服务器请求数

4.rdis连接数（info clients）

这个未保存截图，记得是600左右
connected_clients:600

5.mysql请求截图

四、排查过程及分析

（一）排查思路
根据服务部署和项目架构，从如下几个方面排查：
（1）运用服务器：排查内存，cpu,请求数等；
（2）文件图片服务器：排查内存，cpu,请求数等；
（3）计时器服务器：排查内存，cpu,请求数等；
（4）redis服务器：排查内存，cpu,连接数等；
（5）db服务器：排查内存，cpu,连接数等；

（二）排查过程
在秒杀后30分钟内，
1.运用程序服务器cpu暴增，内存暴增，造成cpu和内存暴增的根本原因是请求数过高，单台运用服务器达到3000多；

（三）造成本次系统异常主要因素分析

(1)在秒杀时，请求量过高，导致运用服务器负载过高；
(2)redis连接池满，获取不到连接，connot get a connection from thread pool
(3)jdbc连接池满，获取不到连接和超时
(4)存在大对象代码，如向list集合中不停添加对象，不能及时回收对象导致内存增加，频繁发生Full GC
(5)tomcat并发参数，jvm优化参数，jedis配置参数，jdbc配置参数不合理
(6)未对请求量进行削峰和限流
(7)资源连接未及时释放，如redis连接，jdbc连接未及时释放

五、最终解决方案

1.增加运用服务，做流量削峰和分流
由于该项目未增加MQ，因此只能采用硬负载，增加服务器水平扩展方式来实现流量削峰和流量分流

2.优化jvm参数，如下为本次优化后的参数
JAVA_OPTS="-server -Xmx9g -Xms9g -Xmn3g -Xss500k -XX:+DisableExplicitGC -XX:MetaspaceSize=2048m -XX:MaxMetaspaceSize=2048m -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -Dfile.encoding=UTF8 -Duser.timezone=GMT+08"
关于这个jvm参数的优化，jvm理论是怎样的，官方建议是怎样的，实战是怎样的，将在下篇文章中分析。

3.优化tomcat并发相关参数
主要是两方面：
(1)修改bio协议为nio2 (2)根据服务器配置，业务场景，业务流量等合理设置相关参数，尽量达到最优

关于tomcat相关参数优化，在接下来的文章中分析。

4.redis 和jdbc参数优化
由于涉及到安全性问题，这里不列出

5.代码优化
(1)优化掉大对象
(2)优化未及时释放的对象和连接资源
6.解决000多个线程请求无效资源问题
在conf/context.xml增大缓存

cachingAllowed = "true"
cacheMaxSize = "102400"

/>

六、最终优化结果

经过几天观察，系统平稳
1.基本监控

七、总结

1.本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程，当然，由于篇幅的限制，
有些细节和优化手段未在本篇文章中提及；

2.虽然解决了该问题，但是从长远来看，该单体项目任然存在很大的问题和隐患，下面随便举几个：
(1)前后端紧耦合，未分离
(2)由于该系统秒杀业务属于非持续性并发，即局部性并发，当前并未做局部并发架构的调整
(3)由于该系统秒杀业务与该项目紧紧耦合在一起，未进行隔离，未独立成单独模块，未单独部署，从而存在因秒杀业务造成整个系统瘫痪的风险；
(4)未做流量削峰和流量限流，如加mq等软手段；
(5)redis为做高可用集群

【云栖号在线课堂】每天都有产品技术专家分享！
课程地址：https://yqh.aliyun.com/zhibo

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间：2020-07-31
本文作者：Alan_beijing
本文来自：“互联网架构师”，了解相关信息可以关注“互联网架构师”

微信关注我们

原文链接：https://yq.aliyun.com/articles/769332

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

谈谈对于企业级系统架构的理解

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！在我们刚开始学习架构的时候，首先会想到分层的概念，分层架构比较经典的是三层架构，那么，什么是三层架构呢?它包括表现层、业务层、数据访问层;而对于一个新手来说，从抽象意义上的三层架构，逻辑上就划分为三个层。这个是最基本的三层架构模式。表现层充当系统的界面呈现以及UI逻辑的角色，也就是说，UI(用户界面)属于表现层; 举一个对于asp.net WebForm来说，人们喜欢把对于UI的控制逻辑(服务器控件的读取、设置、事件等等)写在页面的后置隐藏代码中，并且依赖业务逻辑层。当然，服务器控件支持数据绑定的功能，可以通过数据源进行绑定控件。这样就可以节省在后置隐藏中的代码。因此，我们就可以把表现层分为UI用户界面以及UI逻辑： UI用户界面的职责只是作为数据输入和输出后的展示工作。 UI逻辑的职责是负责业务逻辑层以及UI用户界面之间的数据交互，并且尽可能地让UI逻辑不依赖于UI技术。其中UI用户界面的实现方式有很多，包括ASP.NET、WinForm、WPF、Silverlight、移动W...

2020-07-31

668

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ FPGA（现场可编程门阵列，Field-Programmable Gate Arrays) 自诞生以来，就与 ASIC 社区纠缠不清。上世纪 80 年代中期，Ross Freeman 及其同事从 Zilog 处购买了该项技术，初创了面向 ASIC 仿真和教育市场的 Xilinx 公司。Zilog 来自于埃克森美孚石油公司，其创立源自于上世纪 70 年代人们对石油将在 30 年内耗尽的担忧——尽管时至今日这一说法依然大行其道。几乎与此同时，以类似技术为核心的 Altera 成立。 FPGA 是支持电路编程的芯片，实现对该电路的“仿真”。对于 ASIC 中的实现，这种仿真的运行性能要慢于实际的电路。它的时钟频率更低，耗能更高，但可以每几百毫秒重新编程一次。 FPGA 用于在 ASIC 制造商做光罩并提交工厂制造前仿真 ASIC。Intel、AMD 等企业在芯片生产前，使用 FPGA 仿真芯片。电信领域的争夺FPGA 一直在电信行业大量使用。由于电信标准的不断变化增加了电信设备的制造难度，因...

2020-07-31

700

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。