热门搜索:
您现在的位置是：首页 > 文章详情

小网站架构优化：从100并发抗到4000并发

日期：2017-07-07点击：680
前言：
复制代码
很久前，在512M内存+Access的VPS里，写过了一个经典的秋色园技术原理解析系列。
后来的某一天，换上了1G内存+MSSQL2000，秋色园又跑过了一个多年头。
之后，秋色园和  CYQ.Data，也在一直默默的优化和改进，只是没写什么文章分享分享。
秋色园的架构，基本上从简单到复杂最后又回归简单，不断做着减法，去掉了好多以前用于减轻负载的算法，包括AOP+SQLite分压和文本分压等机制，还有一些缓存式算法。
好多时候，硬件不给力，这时候就会被逼着把整个系统架构复杂化。
一当硬件给力时，系统轻装上阵，架构可以更简单。
因为本质就是请求+返回（硬件能加速的，软件就不用搞太多算法了）。
复制代码
 

下面在分享一下我记忆中还记得的秋色园关于负载测试的起缘：

 

1：某天，我发现秋色园CPU经常会跑满100%：
经过一年的岁月，不知觉的最终被我发现是搜索引擎引发的（虽然写过IIS日志分析工具，但是我自己都很少用，几乎没怎么用，一用没想到找到问题了）。

我发现秋色园的关键字（Tag），由于是直接链接到搜索，而搜索这块是全表的like搜索，没做缓存的优化，所以搜索引擎心情好时就把它弄挂菜了。
 

2：某天，某人用几百个并发，把秋色园又搞到CPU百分百了：

复制代码
我很疑惑，秋色园几乎都是半静态+缓存，除了队列缓存式更新访问计数，和除了后台，不可能顶这点并发就挂了。

通过查看IIS日志，我从日志里发现，是由于URL引发的：
由于秋色园是根据URL缓存的，对方的并发通过在URL后面补充一些随机参数，导致每次请求的URL都不一样，结果系统每次会重新读取并生成Html，导致CPU飘起来。
解决方法就是重整所有的URL链接和对应的缓存机制了。
复制代码
 

3：某天，我也玩起了负载工具，自己时不时的把秋色园弄到CPU百分百.

 

下面分享下，在负载推力下，对秋色园后续折腾的几个优化方案：

 

经过不断的负载测试，秋色园顺路把一些常见的优化手段也用上了：

 

1：分离静态资源域名：static.cyqdata.com
复制代码
架构处理过程：

1：把模板加载和图片处理的，都给处理到另一个域名。
2：新开一个网站，绑定static.cyqdata.com域名，位置仍指向原来的位置。
3：由于是静态站点，可以关掉和.net无关的所有东西。
这样变化后，图片的负载就是天与地的变化：
如果没有分离出来，仍经过.net解析后再返回图片，测试1-2千个并发CPU就近满了。
经过分离，关掉和.net相关的资源后，跑了5000以上并发，CPU和内存也没怎么动静。
主要自己三台机最多只上到这5K左右的并发数，不能往上再测试，但是差距已经很明显了。
复制代码
 

2：Http 304：这是客户端缓存的应用：

除了服务器缓存，客户端缓存也是另一个重点，除了一些静态数据处理缓存，动态数据也适时用上304。
 

如：秋色园上有一些动态的文件“下载次数”：

一般的程序，文件下载都是和文章内容分开的，单独提供下载。

如上，我需要在文章内容里提供下载，又要考虑下载次数机制，用上了图片机制，通过动态一个请求返回了图片资源。
由于下次数次实时性不强，而且变化少，通过来点手段，也可以304缓存。
 

3：关掉不常用的Modules:

如果你重写过URL，或看过秋色园技术原理解析关于URL重写这块文章，下面代码应该会熟悉：

通过调试，看下图：秋色园的Modules只剩下3个，那时因为其它的没用的都关掉了。
本来Session模块也是要关掉，突然发现OAuth2里用到了，就保留了。
看下图还会发现一段注释的for语句，是打印出默认系统带的十几个Moudules。
关掉也很简单，web.config配置：
复制代码
    <httpModules>
      <add name="UrlRewrite" type="Web.UrlRewrite.UrlRewrite,Web.UrlRewrite" />
      <remove name="OutputCache" />
      <!--<remove name="Session"/>-->
      <remove name="WindowsAuthentication" />
      <remove name="FormsAuthentication" />
      <remove name="PassportAuthentication" />
      <remove name="RoleManager" />
      <remove name="UrlAuthorization" />
      <remove name="FileAuthorization" />
      <remove name="AnonymousIdentification" />
      <remove name="Profile" />
      <remove name="ErrorHandlerModule" />
      <remove name="ServiceModel" />
      <!--<remove name="UrlRewrite"/>-->
      <!--<remove name="DefaultAuthentication"/>-->
    </httpModules>
复制代码
 

4：尽早关闭数据库链接：

以前喜欢这样写代码：
复制代码
using (MAction action = new MAction(U_QBlogFileEnum.Blog_File))
            {
                action.SetSelectColumns(Files.ID, Files.Hits, Files.FilePath);
                if (action.Fill(id))
                {
                   Document.Load(action.Data);
                   。。获取数据库数据处理一些业务逻辑显示到界面。 
                }
            }
复制代码
这种坏习惯，导致数据库链接会根据业务的时间延长了关闭链接，导致并发性能下降，平时看不出来。
改进：
复制代码
MDataRow row;
using (MAction action = new MAction(U_QBlogFileEnum.Blog_File))
            {
                action.SetSelectColumns(Files.ID, Files.Hits, Files.FilePath);
                if (action.Fill(id))
                {
                   row=action.Data;
                }
            }
if(row!=null)
{
Document.Load(action.Data);
。。获取数据库数据处理一些业务逻辑显示到界面。
}
复制代码
把逻辑放到外面，提前关闭链接后再去处理事情，并发时性能会提升不少。

 

5：Web园的抗并发能力：
复制代码
基于不断的优化改进，秋色园从100个并发挂菜-》基本优化-》到1000个并发挂菜-》经过架构调整优化-》抗到2000个并发左右。

最后，还有一个招，就是IIS的Web园，通过允许的设置了2个进程，发现能抗到4000并发，虽然CPU接近100%，但仍能正常访问，可见Web园的确是个奇招。
开启Web园，意味着多进程负载，当然Session默认的模式就不能用了。
复制代码
如上所说，同样的硬件配置：从100个并发，到4000个并发，改动并不多，路也并不长，但是常人又知多少。
以上的服务器环境，都是美国VPS 10M带宽CPU双核，配置如下：
 

6：如何对网站进行负载测试:

分布式网站负载压力测试工具： 点击下载
 

后话：

硬件能顶半边天：一台好的服务器，程序写的烂一点，不做任何优化，也能跑的潇潇洒洒。

软件能顶半边天：好的优化机制和架构，穷的服务器也能跑个安安稳稳。
现实时，只有超过了那半边天，你才会去想另一半的重要性。
版权声明：本文原创发表于博客园，作者为路过秋天，原文链接：
http://www.cnblogs.com/cyq1162/archive/2013/05/13/3074980.html
原文链接：https://yq.aliyun.com/articles/142033
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章