高性能缓存服务器Squid架构配置-低调大师

高性能缓存服务器Squid架构配置

2017-11-13 579

前言* 随着网站访问人数越来越多，承受的并发和压力也越来越高，这时候我们需要对网站和架构进行优化，今天我们来讨论使用Squid对架构进行优化，缓存网站。网上对squid描述的文章也有成千上万，我这里简单记录一下实践的步骤。

一、实施环境

 
        系统版本：CentOSx86_64 5.8
       
        Squid版本：squid-2.6
       
        Nginx版本：nginx-1.4.2

二、正式安装

安装之前我们需要对系统进行优化，主要优化系统内核相关参数，仅供参考：

 
        vi 
        /etc/sysctl
        .conf 
       
        #sysctl.conf config 2014-03-26
       
        net.ipv4.ip_forward = 0
       
        net.ipv4.conf.default.rp_filter = 1
       
        net.ipv4.conf.default.accept_source_route = 0
       
        kernel.sysrq = 0
       
        kernel.core_uses_pid = 1
       
        net.ipv4.tcp_syncookies = 1
       
        kernel.msgmnb = 65536
       
        kernel.msgmax = 65536
       
        kernel.shmmax = 68719476736
       
        kernel.shmall = 4294967296
       
        net.ipv4.tcp_max_tw_buckets = 10000
       
        net.ipv4.tcp_sack = 1
       
        net.ipv4.tcp_window_scaling = 1
       
        net.ipv4.tcp_rmem = 4096        87380   4194304
       
        net.ipv4.tcp_wmem = 4096        16384   4194304
       
        net.core.wmem_default = 8388608
       
        net.core.rmem_default = 8388608
       
        net.core.rmem_max = 16777216
       
        net.core.wmem_max = 16777216
       
        net.core.netdev_max_backlog = 262144
       
        net.core.somaxconn = 262144
       
        net.ipv4.tcp_max_orphans = 3276800
       
        net.ipv4.tcp_max_syn_backlog = 262144
       
        net.ipv4.tcp_timestamps = 0
       
        net.ipv4.tcp_synack_retries = 1
       
        net.ipv4.tcp_syn_retries = 1
       
        net.ipv4.tcp_tw_recycle = 1
       
        net.ipv4.tcp_tw_reuse = 1
       
        net.ipv4.tcp_mem = 94500000 915000000 927000000
       
        net.ipv4.tcp_fin_timeout = 1
       
        net.ipv4.tcp_keepalive_time = 15
       
        net.ipv4.ip_local_port_range = 1024    65535

优化Linux文件打开最大数：

 
        vi  
        /etc/security/limits
        .conf  
       
        * soft nproc 65535
       
        * hard nproc 65535
       
        * soft nofile 65535
       
        * hard nofile 65535

接下来上自动安装Squid脚本，里面分别配置了两个虚拟主机域名，前端有LVS，LVS均衡后端多组squid集群，根据命中率去调整squid集群的数量，Squid后端均衡Nginx或者Apache。（完整的架构LVS+Keepalived+Squid+Nginx+Resin/Tomcat/PHP+MySQL集群）

简单逻辑图如下：

直接上脚本：

 
        #!/bin/sh
       
        #Auto make install squid server
       
        #Author wugk 2014-03-26
       
        SQUID_CNF=
        /etc/squid/squid
        .conf 
       
        CACHE_DIR=(
       
        /data/cache1 
       
        /data/cache2 
       
        )
       
        #Install squid shell
       
        yum 
        install 
        -y squid 
       
        #config squid.conf
       
        cat 
        >>$SQUID_CNF <<EOF 
       
        #global config squid.conf 2014-03-26
       
        http_port 80 accel vhost vport
       
        cache_peer 192.168.149.128 parent 80 0 originserver name=wugk1
       
        cache_peer 192.168.149.129 parent 80 0 originserver name=wugk2
       
        cache_peer_domain wugk1 www.wugk1.com
       
        cache_peer_domain wugk2 www.wugk2.com
       
        visible_hostname localhost
       
        forwarded_for off
       
        via off
       
        cache_vary on
       
        #acl config
       
        acl manager proto cache_object
       
        acl localhost src 127.0.0.1
        /32 
       
        acl to_localhost dst 127.0.0.0
        /8 
        0.0.0.0
        /32 
       
        acl localnet src 10.0.0.0
        /8     
        # RFC1918 possible internal network 
       
        acl localnet src 172.16.0.0
        /12  
        # RFC1918 possible internal network 
       
        acl localnet src 192.168.0.0
        /16 
        # RFC1918 possible internal network 
       
        acl SSL_ports port 443
       
        acl Safe_ports port 80 8080         
        # http 
       
        acl Safe_ports port 21          
        # ftp 
       
        acl Safe_ports port 443         
        # https 
       
        acl all src 0.0.0.0
        /0 
       
        acl CONNECT method CONNECT
       
        http_access allow manager localhost
       
        http_access deny manager
       
        http_access deny !Safe_ports
       
        http_access deny CONNECT !SSL_ports
       
        http_access allow localnet
       
        http_access allow localhost
       
        http_access allow all
       
        acl PURGE method PURGE
       
        http_access allow PURGE localhost
       
        http_access deny PURGE
       
        #squid config 2014-03-25
       
        cache_dir aufs 
        /data/cache1 
        10240 16 256 
       
        cache_dir aufs 
        /data/cache2 
        10240 16 256 
       
        cache_mem 4000 MB
       
        maximum_object_size 8 MB
       
        maximum_object_size_in_memory 256 KB
       
        hierarchy_stoplist cgi-bin ?
       
        coredump_dir 
        /var/spool/squid 
       
        refresh_pattern ^
        ftp
        :           1440    20%     10080 
       
        refresh_pattern ^gopher:        1440    0%      1440
       
        refresh_pattern -i (
        /cgi-bin/
        |\?) 0     0%      0 
       
        refresh_pattern \.(jpg|png|gif|mp3|xml|html|htm|css|js) 1440    50%     2880    ignore-reload
       
        refresh_pattern .               0       20%     4320
       
        EOF
       
        #config cache_dir
       
        mkdir 
        -p  ${CACHE_DIR[@]} ;
        chown 
        -R squid:squid  ${CACHE_DIR[@]} 
       
        #restart squid server
       
        /etc/init
        .d
        /squid 
        restart 
       
        if
       
        [ 
        "$?" 
        == 
        "0" 
        ];
        then 
       
        echo 
        "The Squid Server Install Successfully !!" 
       
        else
       
        echo 
        "The Squid Server Install Failed !!,Please Check Log......" 
       
        fi

最后测试，前端LVS截图（注LVS此处不配置了，博客有专门的安装方法）

通过浏览器查看head头，缓存命中情况截图如下：

通过命令

 
        squidclient -p 
        80 
        mgr:info |egrep 
        "(Request Hit Ratios|Byte Hit Ratios)"

查看缓存命中率如下：

三、批量清空缓存

使用Shell脚本批量清空squid缓存脚本auto_clean_cache.sh

 
        #!/bin/sh
       
        DIR=
        /data/cache/ 
       
        Command=
        /usr/sbin/squidclient 
       
        if
       
        [ 
        "$1" 
        = 
        "" 
        ];
        then 
       
        echo 
        "Usage:{$0 "
        \$1
        " ,Example exec $0 forum.php}" 
       
        exit 
       
        fi
       
        grep 
        -r -a $1 ${DIR} | strings | 
        grep 
        "http:"
        |
        grep 
        -
        v 
        "=" 
        >list.txt 
       
        count=`
        cat 
        list.txt|
        wc 
        -l` 
       
        if
       
        [ 
        "$count" 
        -
        eq 
        "0" 
        ];
        then 
       
        echo 
        -e 
        "---------------------------------\nThe $1 cache already update,Please exit ......"   
       
        exit 
       
        fi
       
        while 
        read 
        line 
       
        do
       
        $Command -m PURGE -p 80 
        "$line" 
        >>
        /dev/null 
       
        if 
        [ $? -
        eq 
        0 ];
        then 
       
        echo 
        -e 
        "----------------------------------\nThe $line cache update successfully!" 
       
        fi 
       
        done 
        < list.txt

脚本执行：

 
        [root@node2 ~]# sh auto_clean_cache.sh forum.php
       
        ----------------------------------
       
        The http:
        //www.wugk2.com/forum.php cache update successfully! 
       
        [root@node2 ~]#

更多squid优化及深入配置后期更新。。

本文转自 wgkgood 51CTO博客，原文链接:http://blog.51cto.com/wgkgood/1384580

微信关注我们

原文链接：https://yq.aliyun.com/articles/431755

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从三层架构到MVC,MVP

本来是不想跳出来充大头蒜的，但最近发现园子里关于MVC的文章和讨论之风越刮越烈，其中有些朋友的观点并不是我所欣赏和推荐的，同时最近也在忙着给公司里的同事做MVC方面的“扫盲工作”。所以就搜集了一些大家接触MVC的过程中经常出现的问题做了一下解释说明，希望能与大家多多交流，呵呵。当然这种架构模式本身的一些问题也会在接下来的内容就加以介绍，另外就是如果大家有什么不同观点的话，欢迎拍砖（只要不打脸就行，呵呵）。一. MVC是谁提出的模型－视图－控制器（MVC）是Xerox PARC在八十年代为编程语言Smalltalk－80发明的一种软件设计模式，至今已被广泛使用。最近几年被推荐为Sun公司J2EE平台的设计模式，并且受到越来越多的使用 ColdFusion 和 PHP 的开发者的欢迎。模型－视图－控制器模式是一个有用的工具箱，它有很多好处，但也有一些缺点。二. MVC是否适合进行大项目的开发 MVC框架肯定是适合于做大项目开发的，但并不是说有了MVC框架我们就可以开发大项目，听起来有些绕，其实道理很简单，原因就是人（开发者）。如果你是一个对MVC框架的设计理念有深入研...

2017-11-14

679

卍解[为企业部署Windows Server 2008系列一]

Windows server 2008发布至今,已经有了很多成功案例.尤其在金融风暴的冲击下,绿色IT的旗帜下,windows server 2008更是企业节能减排的首选,即可以节约部署运行成本,又大大降低了企业的IT环境管理成本,因为她更容易配置,更容易上手,将微软的优势几乎发挥到了极致.并且在功能和性能上大大增强了,而且大家可以选择性安装,个性定制自己的2008. 那么如何用好2008?如何用她来节省成本?如何定制我们所需要的功能?她出现故障如何排除?性能如何优化? 请听我慢慢道来. 首先我们要熟悉windows server 2008的版本,因为咱们要为企业选择一款经济合适的服务器操作系统版本.以最大化企业利益为己任. 下面咱们来介绍下windows server 2008的操作系统版本: Windows server 2008 web版469美元 Windows server 2008标准版(Standard)999美元（含5个客户端访问许可） Windows server 2008企业版(Enterprise)3999美元（含25个客户端访问许可） Windows se...

2017-11-14

529

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。