首页 文章 精选 留言 我的

日均百万PV架构第三弹(分布内容为王)

2017-11-08 616

接续接上篇 缓存时代来临 为蓝本,继续改造我们的百万级站点架构,这次我们

拿之前存储静态内容的 nfs 开刀,众所周知 nfs 的多台集群节点下可能由于多重

原因(磁盘io , 网络带宽, 并发场景),不适合做文件共享系统的基础结构.

互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之内,对于

海量小文件,我们将采用mogilefs分布式文件系统来完成.其中概念自行google.


# mogilefs分布式文件系统工作流程

wKioL1Nuf-HyFqN6AANj5XoyLgs681.jpg


架构已经愈发复杂,我们需要从新梳理一下.从下表中应该很容易看出第三弹的

任务,重新规划如下:
   # 罗马数字表示在何阶段规划,(*)代表已废弃
   slave1.king.com
       172.16.43.1
       DNS轮询 -> slave1.king.com , slave2.king.com(I)
       haproxy七层代理流量分离 -> imgs , text , dynamic(I) 
       keepalived 为haproxy HA(I)

   slave2.king.com
       172.16.43.2
       haproxy七层代理流量分离 -> imgs , text , dynamic(I)
       keepalived 为haproxy HA(I)

   slave3.king.com
       172.16.43.3
       nginx虚拟主机组 -> imgs1.king.com , imgs2.king.com
                        text1.king.com , text2.king.com
                        dynamic1.king.com(I)
       php-fpm模块(I)
       mysql数据库(I)
       nfs /nfsshared(*)           New!!
       varnish imgs 缓存(II)
       memcache session, key/value cache(II)
       mogilefs tracker node(III)  New!!
       mogilefs store node(III)    New!!

   slave4.king.com
       172.16.43.4
       nginx虚拟主机 -> dynamic2.king.com(I)
       php-fpm模块(I)
       mysql-proxy(I)
       mysql数据库(I)
       varnish text 缓存(II)
       memcache session, key/value cache(II)
       mogilefs tracker node(III)  New!!
       mogilefs store node(III)    New!!


# 新规划内容如下

wKioL1Nuf7ygAqz8AARuoP4qkG0838.jpg


操作过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
1. 安装配置阶段(slave3.king.com , slave4.king.com)
# 准备如下包,因为我们要安装tracker节点和store节点
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
#
# 安装mogilefs以及创建store目录,改变权限
yum -y  install  *.rpm perl-IO-AIO -y
mkdir  /dfs/mogdata/dev1  -pv (slace4上建dev2)
chown  -R mogilefs.mogilefs  /var/run/mogilefsd  /dfs/mogdata
#
# mysql -e 授权  建库(仅slave3执行)
mysql -e  "create database mogilefs;"
mysql -e  "grant all on *.* to 'root'@'172.16.%.%' identified by '';"
mysql -e  "grant all on mogilefs.* 'moguser'@'172.16.%.%' identified by 'mogpass';"
mysql -e  "flush privileges;"
#
# 初始化mogilefs所需数据库(仅slave3执行)
mogdbsetup --dbhost=172.16.43.3 --dbport=3306 --dbname=mogilefs --dbuser=moguser --dbpass=mogpass -- yes

wKiom1NugF6QKoRuAANrCA9qI4w367.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 接 1. 安装配置阶段(slave3.king.com , slave4.king.com) 操作
# mogilefs配置文件
vim  /etc/mogilefs/mogilefsd .conf
# Enable daemon mode to work in background and use syslog
daemonize = 1
# Where to store the pid of the daemon (must be the same in the init script)
pidfile =  /var/run/mogilefsd/mogilefsd .pid
# Database connection information
db_dsn = DBI:mysql:mogilefs:host=172.16.43.3
db_user = moguser
db_pass = mogpass
# IP:PORT to listen on for mogilefs client requests
listen = 172.16.43.3:7001
# Optional, if you don't define the port above.
conf_port = 7001
# Number of query workers to start by default.
query_jobs = 10
# Number of delete workers to start by default.
delete_jobs = 1
# Number of replicate workers to start by default.
replicate_jobs = 5
# Number of reaper workers to start by default.
# (you don't usually need to increase this)#
reaper_jobs = 1
#
# store配置文件
vim  /etc/mogilefs/mogstored .conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot =  /dfs/mogdata
#
# 分别启动tracker以及store服务 (观察7001与7500,7501端口)
service mogilefsd start
service mogstored start

# 观察服务启动情况

wKioL1NugPWyKpIjAAKIfy5Gl6Q348.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2. 添加分布式文件系统(slave3.king.com)
# 添加分布式节点信息
mogadm --tracker=172.16.43.3:7001 host add 172.16.43.3 --ip=172.16.43.3 --status=alive
mogadm --tracker=172.16.43.4:7001 host add 172.16.43.4 --ip=172.16.43.4 --status=alive
mogadm --tracker=172.16.43.3:7001 host list
#
# 添加分布式设备节点信息
mogadm --tracker=172.16.43.3:7001 device add 172.16.43.3 1
mogadm --tracker=172.16.43.4:7001 device add 172.16.43.4 2
mogadm --tracker=172.16.43.3:7001 device list
#
# 添加分布式域节点信息
mogadm --tracker=172.16.43.3:7001 domain add images
mogadm --tracker=172.16.43.3:7001 domain add text
mogadm --tracker=172.16.43.3:7001 domain list

# mogilefs 所需 host , device , domain 添加准备就绪情况

wKiom1NugU6Ab4ggAAT17qDgDDU945.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
3. ngxin反向代理解析文件
# 将第三方模块编译进nginx,先将之前的nginx服务停止,防止意外
service nginx stop
cd  nginx-1.4.7
. /configure  --prefix= /usr/local/nginx  --sbin-path= /usr/local/nginx/nginx  --conf-path= /etc/nginx/nginx .conf --pid-path= /usr/local/nginx/nginx .pid --with-pcre --add-module= /root/mogilefs/nginx-mogilefs-module-master
make  &&  make  install
#
nginx-mogilefs-module-master.zip
#
http {
upstream mogcluster {
     server 172.16.43.3:7001;
     server 172.16.43.4:7001;
}
#
# 之前的系统图片设置到images与imgs考虑程序一致性,这里
location  /images/  {
     mogilefs_tracker mogcluster;
     mogilefs_domain images;
     mogilefs_methods GET PUT DELETE;
     mogilefs_pass {
         proxy_pass $mogilefs_path;
         proxy_hide_header Content-Type;
         proxy_buffering off;
     }
}
#
location  /imgs/  {
     mogilefs_tracker mogcluster;
     mogilefs_domain images;
     mogilefs_methods GET PUT DELETE;
     mogilefs_pass {
         proxy_pass $mogilefs_path;
         proxy_hide_header Content-Type;
         proxy_buffering off;
     }
}
#
# 之前系统静态文件分为html,css,js等目录,所以这里需要目录定位
location ~* ^(/(static|css|js)/.*)$ {
     mogilefs_tracker mogcluster;
     mogilefs_domain text;
     mogilefs_pass $1 {
         proxy_pass $mogilefs_path;
         proxy_hide_header Content-Type;
         proxy_buffering off;
     }
}
}
1
2
3
4
5
6
4. 以上一篇架构为例,添加测试文件
mogupload --trackers=172.16.43.3:7001 --domain=images --key= '/2.jpg'  -- file = './imgs/2.jpg'
mogupload --trackers=172.16.43.3:7001 --domain=images --key= '/1.jpg'  -- file = './images/1.jpg'
mogupload --trackers=172.16.43.3:7001 --domain=text --key= 'static/index.html'  -- file = './static/index.html'
mogupload --trackers=172.16.43.3:7001 --domain=text --key= 'css/test.css'  -- file = './css/test.css'
mogupload --trackers=172.16.43.3:7001 --domain=text --key= 'js/test.js'  -- file = './js/test.js'

wKioL1Nugg3w9_dqAAVWg1tLfwU710.jpg

# 测试

service nginx restart
service varnish restart
使用浏览器隐身模式访问

wKiom1NugmfiT7thAAeJ5BJ4Xjs584.jpg


最后附完整slave3.king.com中nginx的配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
     worker_connections  1024;
}
http {
     include       mime.types;
     default_type  application /octet-stream ;
     #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
     #                  '$status $body_bytes_sent "$http_referer" '
     #                  '"$http_user_agent" "$http_x_forwarded_for"';
     #access_log  logs/access.log  main;
     sendfile        on;
     #tcp_nopush     on;
     #keepalive_timeout  0;
     keepalive_timeout  5;
     gzip   on;
     upstream mogcluster {
         server 172.16.43.3:7001;
         server 172.16.43.4:7001;
     }
     server {
     listen  80;
     server_name dynamic1.king.com;
     access_log   /var/log/nginx/dynamic1 .access.log;
     location ~ \.php$ {
         root         /nfsshared/html ;
         fastcgi_pass    172.16.43.3:9000;
         fastcgi_index   index.php;
         fastcgi_param   SCRIPT_FILENAME $document_root$fastcgi_script_name;
         include     fastcgi_params;
     }
     location / {
         root     /nfsshared/html ;
         index   index.php index.html index.htm;
     }
     }
     server {
         listen       80;
         server_name  imgs1.king.com;
         access_log   /var/log/nginx/imgs1 .access.log;
         location  /images/  {
             mogilefs_tracker mogcluster;
             mogilefs_domain images;
             mogilefs_methods GET PUT DELETE;
             mogilefs_pass {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         location  /imgs/  {
             mogilefs_tracker mogcluster;
             mogilefs_domain images;
             mogilefs_methods GET PUT DELETE;
             mogilefs_pass {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         error_page  404               /404 .html;
         error_page   500 502 503 504   /50x .html;
         location =  /50x .html {
             root   html;
         }
     }
     server {
         listen       80;
         server_name  imgs2.king.com;
         access_log   /var/log/nginx/imgs2 .access.log;
         location  /images/  {
             mogilefs_tracker mogcluster;
             mogilefs_domain images;
             mogilefs_methods GET PUT DELETE;
             mogilefs_pass {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         location  /imgs/  {
             mogilefs_tracker mogcluster;
             mogilefs_domain images;
             mogilefs_methods GET PUT DELETE;
             mogilefs_pass {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         error_page  404               /404 .html;
         error_page   500 502 503 504   /50x .html;
         location =  /50x .html {
             root   html;
         }
     }
     server {
         listen       80;
         server_name  text1.king.com;
         access_log   /var/log/nginx/text1 .access.log;
         location ~* ^(/(static|css|js)/.*)$ {
             mogilefs_tracker mogcluster;
             mogilefs_domain text;
             mogilefs_pass $1 {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         location / {
             index  index.html index.htm;
         }
         error_page  404               /404 .html;
         error_page   500 502 503 504   /50x .html;
         location =  /50x .html {
             root   html;
         }
     }
     server {
         listen       80;
         server_name  text2.king.com;
         access_log   /var/log/nginx/text2 .access.log;
         location ~* ^(/(static|css|js)/.*)$ {
             mogilefs_tracker mogcluster;
             mogilefs_domain text;
             mogilefs_pass $1 {
                 proxy_pass $mogilefs_path;
                 proxy_hide_header Content-Type;
                 proxy_buffering off;
             }
         }
         location / {
             index  index.html index.htm;
         }
         error_page  404               /404 .html;
         error_page   500 502 503 504   /50x .html;
         location =  /50x .html {
             root   html;
         }
     }
}




     本文转自My_King1 51CTO博客，原文链接：http://blog.51cto.com/apprentice/1409340，如需转载请自行联系原作者




上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/468651

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Citrix Virtual handbook 7.6 LTSR version

熟悉Citrix XenDesktop、XenApp产品的朋友都知道，Citrix官方会基于最新的产品版本撰写一份Virtual Handbook的手册，从产品架构、设计逻辑、资源分配、网络性能等多个方面全面而详细的说明。 不过随着Citrix从2016年开始将产品分发提供LTSR和CR两种模式，Virutal Handbook未来都将改为以稳定版为主的LTSR为蓝本进行撰写。 所以本次是第一版基于LTSR版本撰写的Virtual Handbook，欢迎大家阅读。相信从中各位能获得非常多有用的信息。 下载地址： http://docs.citrix.com/content/dam/docs/en-us/xenapp-xendesktop/xenapp-xendesktop-7-6/downloads/Citrix%20VDI%20Handbook%20(7.6%20LTSR).pdf 参考材料： http://docs.citrix.com/en-us/xenapp-and-xendesktop/7-6-long-term-service-release/citrix-vdi-bes...
2017-11-09
582
上一篇

XenApp/XenDesktop 7.11新功能

本文原载于微信公众号：tasnrh, 时间之外的IT小屋 =========================== Citrix已发布最新当前版本（CR）XenApp和XenDesktop 7.11，让我们来看看都有哪些新功能的更新！ 对于XenApp和XenDesktop 7.11的新功能，概括性来说，管理员的对于分散的地理位置的高级管理选项，如用户位置，应用程序位置或用户配置文件位置。同时还改善并提供新的性能指标和提醒功能，更方便的自助服务密码重置功能以及更多配置选项。此版本还加强和改进3D图形渲染能力，以及Linux的应用交付和配置文件管理交付，大大提升Linux虚拟桌面和虚拟应用的用户体验。 一、拥抱微软的最新平台 对于Windows Server 2016 Day One的支持。 Windows Server 2016是微软下一代云就绪的服务器操作系统。只要Windows Server 2016服务器操作系统正式发布，用户就能够在基于Windows Server 2016的平台上使用7.11的版本承担虚拟应用和基于服务器的桌面，以及Citrix的托管基础架构组件，如Deli...
2017-11-09
620
下一篇

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
OpenAi Gemini3 Rocky Jdk25 Redis HarmonyOS6 Service Mesh SpringCloud SpringBoot4 DeepSeek Docker Kubernetes Nacos3

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册