小网站架构优化：从100并发抗到4000并发-低调大师

小网站架构优化：从100并发抗到4000并发

2017-07-07 880

前言：

    
    很久前，在512M内存+Access的VPS里，写过了一个经典的秋色园技术原理解析系列。
   
    后来的某一天，换上了1G内存+MSSQL2000，秋色园又跑过了一个多年头。
   
    之后，秋色园和 
    CYQ.Data，也在一直默默的优化和改进，只是没写什么文章分享分享。
   
    秋色园的架构，基本上从简单到复杂最后又回归简单，不断做着减法，去掉了好多以前用于减轻负载的算法，包括AOP+SQLite分压和文本分压等机制，还有一些缓存式算法。
   
    好多时候，硬件不给力，这时候就会被逼着把整个系统架构复杂化。
   
    一当硬件给力时，系统轻装上阵，架构可以更简单。
   
    因为本质就是请求+返回（硬件能加速的，软件就不用搞太多算法了）。

下面在分享一下我记忆中还记得的秋色园关于负载测试的起缘：

1：某天，我发现秋色园CPU经常会跑满100%：

    经过一年的岁月，不知觉的最终被我发现是搜索引擎引发的（虽然写过IIS日志分析工具，但是我自己都很少用，几乎没怎么用，一用没想到找到问题了）。
   
    我发现秋色园的关键字（Tag），由于是直接链接到搜索，而搜索这块是全表的like搜索，没做缓存的优化，所以搜索引擎心情好时就把它弄挂菜了。

2：某天，某人用几百个并发，把秋色园又搞到CPU百分百了：

    
    我很疑惑，秋色园几乎都是半静态+缓存，除了队列缓存式更新访问计数，和除了后台，不可能顶这点并发就挂了。
   
    通过查看IIS日志，我从日志里发现，是由于URL引发的：
   
    由于秋色园是根据URL缓存的，对方的并发通过在URL后面补充一些随机参数，导致每次请求的URL都不一样，结果系统每次会重新读取并生成Html，导致CPU飘起来。
   
    解决方法就是重整所有的URL链接和对应的缓存机制了。

3：某天，我也玩起了负载工具，自己时不时的把秋色园弄到CPU百分百.

下面分享下，在负载推力下，对秋色园后续折腾的几个优化方案：

经过不断的负载测试，秋色园顺路把一些常见的优化手段也用上了：

1：分离静态资源域名：static.cyqdata.com

    
    架构处理过程：
   
    1：把模板加载和图片处理的，都给处理到另一个域名。
   
    2：新开一个网站，绑定static.cyqdata.com域名，位置仍指向原来的位置。
   
    3：由于是静态站点，可以关掉和.net无关的所有东西。
   
    这样变化后，图片的负载就是天与地的变化：
   
    如果没有分离出来，仍经过.net解析后再返回图片，测试1-2千个并发CPU就近满了。
   
    经过分离，关掉和.net相关的资源后，跑了5000以上并发，CPU和内存也没怎么动静。
   
    主要自己三台机最多只上到这5K左右的并发数，不能往上再测试，但是差距已经很明显了。

2：Http 304：这是客户端缓存的应用：

   除了服务器缓存，客户端缓存也是另一个重点，除了一些静态数据处理缓存，动态数据也适时用上304。
  

如：秋色园上有一些动态的文件“下载次数”：

    一般的程序，文件下载都是和文章内容分开的，单独提供下载。
   
    如上，我需要在文章内容里提供下载，又要考虑下载次数机制，用上了图片机制，通过动态一个请求返回了图片资源。
   
    由于下次数次实时性不强，而且变化少，通过来点手段，也可以304缓存。

3：关掉不常用的Modules:

    如果你重写过URL，或看过秋色园技术原理解析关于URL重写这块文章，下面代码应该会熟悉：
   
    通过调试，看下图：秋色园的Modules只剩下3个，那时因为其它的没用的都关掉了。
   
    本来Session模块也是要关掉，突然发现OAuth2里用到了，就保留了。
   
    看下图还会发现一段注释的for语句，是打印出默认系统带的十几个Moudules。

关掉也很简单，web.config配置：

    
        <httpModules>
   
          <add name="UrlRewrite" type="Web.UrlRewrite.UrlRewrite,Web.UrlRewrite" />
   
          <remove name="OutputCache" />
   
          <!--<remove name="Session"/>-->
   
          <remove name="WindowsAuthentication" />
   
          <remove name="FormsAuthentication" />
   
          <remove name="PassportAuthentication" />
   
          <remove name="RoleManager" />
   
          <remove name="UrlAuthorization" />
   
          <remove name="FileAuthorization" />
   
          <remove name="AnonymousIdentification" />
   
          <remove name="Profile" />
   
          <remove name="ErrorHandlerModule" />
   
          <remove name="ServiceModel" />
   
          <!--<remove name="UrlRewrite"/>-->
   
          <!--<remove name="DefaultAuthentication"/>-->
   
        </httpModules>

4：尽早关闭数据库链接：

以前喜欢这样写代码：

    
    using (MAction action = new MAction(U_QBlogFileEnum.Blog_File))
   
                {
   
                    action.SetSelectColumns(Files.ID, Files.Hits, Files.FilePath);
   
                    if (action.Fill(id))
   
                    {
   
                       Document.Load(action.Data);
   
                       。。获取数据库数据处理一些业务逻辑显示到界面。 
   
                    }
   
                }

这种坏习惯，导致数据库链接会根据业务的时间延长了关闭链接，导致并发性能下降，平时看不出来。

改进：

    
    MDataRow row;
   
     using (MAction action = new MAction(U_QBlogFileEnum.Blog_File))
    
                 {
    
                     action.SetSelectColumns(Files.ID, Files.Hits, Files.FilePath);
    
                     if (action.Fill(id))
    
                     {
    
                        row=action.Data;
    
                     }
    
                 }
    
    if(row!=null)
   
    {
   
    Document.Load(action.Data);
   
    。。获取数据库数据处理一些业务逻辑显示到界面。
   
    }

把逻辑放到外面，提前关闭链接后再去处理事情，并发时性能会提升不少。

5：Web园的抗并发能力：

    
    基于不断的优化改进，秋色园从100个并发挂菜-》基本优化-》到1000个并发挂菜-》经过架构调整优化-》抗到2000个并发左右。
   
    最后，还有一个招，就是IIS的Web园，通过允许的设置了2个进程，发现能抗到4000并发，虽然CPU接近100%，但仍能正常访问，可见Web园的确是个奇招。
   
    开启Web园，意味着多进程负载，当然Session默认的模式就不能用了。

如上所说，同样的硬件配置：从100个并发，到4000个并发，改动并不多，路也并不长，但是常人又知多少。

以上的服务器环境，都是美国VPS 10M带宽CPU双核，配置如下：

6：如何对网站进行负载测试:

分布式网站负载压力测试工具：点击下载

后话：

    硬件能顶半边天：一台好的服务器，程序写的烂一点，不做任何优化，也能跑的潇潇洒洒。
   
    软件能顶半边天：好的优化机制和架构，穷的服务器也能跑个安安稳稳。
   
    现实时，只有超过了那半边天，你才会去想另一半的重要性。

http://www.cnblogs.com/cyq1162/archive/2013/05/13/3074980.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/142033

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

小网站架构优化-提升抗并发能力：子应用程序分离方案

前言：标题为啥要加个“小”，只因为上一篇文章“ 小网站架构优化：从100并发抗到4000并发”，带了个“小”字，所以这篇也顺流加个“小”了。大意“小”是特指秋色园（流量小，服务器配置低）的意思，毕竟文章都是从实战后才写出来的。关于现实网站的抗并发实情：由于每个网站的性能点，最后都离不开抗并发这一话题。也许，网站本身并没有那么多并发访问，但为何还要抗并发？因为现实不是每个人都是善良的，商业竞争也很激烈，竞争对手间时不时的互相攻击网站也很普遍。昨天才一网友向我说起，他朋友的网站，逢周一就会被竞争对手攻击，导致业务无法开展，换服务器也无济于事。所以，提升网站的抗并发能力，除了抵抗用户的高峰期访问，也是是自我网站保护的一种手段。什么样的站点能抗的起高并发？若除却外部带宽等因素造成的外部影响，则内部答案只有一个：静态网站。静态网站何以能抗高并发？因为静态页面据说在操作系统内核级就能缓存数据并做出响应，所以抗并发能力理论上是最强的。所以，你看看电商网站，除却技术背后的实现，你能看到的页面，多数是静态页面。所以技术的背后是Java还是.net还是php，看似就...

2017-07-08

824

上节回顾：上节秋色园QBlog技术原理解析：性能优化篇：用户和文章计数器方案(十七)，秋色园QBlog对于频繁产生更新操作的访问计数器（用户表及文章表），进行了另一种优化方案处理，使得原来并发进行的操作，变成了定时的单个队列式顺序更新操作，有效的解决了计数器引发的并发的问题。本节概要：虽然减压方案频繁出招，可是依旧没能阻挡住access黄金4K的绝杀。在压力之下，梦幻潜能再次被激发。于是，新的绝招再次出世：一个失传已久的招数：文本数据库。本节内容： 1：分析寻找优化点：通过CYQ.Data的 AppDebug（即将发布的V4.5.5版本包含此类），打印出页面的SQL语句： PS：关于打印页面SQL语句的优化，可见之前的文章：秋色园QBlog技术原理解析：性能优化篇：全局的SQL语句优化(十三) 首先观察页面这些语句，我们看到这里涉及到几条语句： 1：第一次的表架构获取语句，即where 1=2的语句 2：博客用户的信息读取语句 3：友情链接的语句 PS：如果没有缓存，当然还有很多和文章列表相关的语句，文章的下节重点再讲。然后我对着这些语句寻思了很...

2017-07-08

827

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。