图文并茂超详细搭建redis缓存服务器(nginx+tomcat+redis+mysql实现session会话共享)
博主QQ：819594300 博客地址：http://zpf666.blog.51cto.com/ 有什么疑问的朋友可以联系博主，博主会帮你们解答，谢谢支持！ 一、redis介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现master-slave(主从)同步。 Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby等客户端，使用很方便。 如果简单地比较Redis与Memcached的区别，基本上有以下3点： 1、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 2、Redis支持数据的备份，即master-slave模式的数据备份。 3、Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据“swappability =age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，因为这些数据是不会进行swap操作的。 当从Redis中读取数据的时候，如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。 memcached和redis的比较 1、网络IO模型 Memcached是多线程，非阻塞IO复用的网络模型，分为监听主线程和worker子线程，监听线程监听网络连接，接受请求后，将连接描述字pipe 传递给worker线程，进行读写IO, 网络层使用libevent封装的事件库，多线程模型可以发挥多核作用。 Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll、kqueue和select，对于单纯只有IO操作来说，单线程可以将速度优势发挥到最大，但是Redis也提供了一些简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型实际会严重影响整体吞吐量，CPU计算过程中，整个IO调度都是被阻塞住的。 2、内存管理方面 Memcached使用预分配的内存池的方式，使用slab和大小不同的chunk来管理内存，value根据大小选择合适的chunk存储。Redis使用现场申请内存的方式来存储数据。 3、存储方式及其它方面 Memcached基本只支持简单的key-value存储，不支持持久化和复制等功能，Redis除key/value之外，还支持list,set,sortedset,hash等众多数据结构 二、如何保持session会话 目前，为了使web能适应大规模的访问，需要实现应用的集群部署。集群最有效的方案就是负载均衡，而实现负载均衡用户每一个请求都有可能被分配到不固定的服务器上，这样我们首先要解决session的统一来保证无论用户的请求被转发到哪个服务器上都能保证用户的正常使用，即需要实现session的共享机制。 在集群系统下实现session统一的有如下几种方案： 1、请求精确定位：sessionsticky，例如基于访问ip的hash策略，即当前用户的请求都集中定位到一台服务器中，这样单台服务器保存了用户的session登录信息，如果宕机，则等同于单点部署，会丢失，会话不复制。 2、session复制共享：sessionreplication，如tomcat自带session共享，主要是指集群环境下，多台应用服务器之间同步session，使session保持一致，对外透明。 如果其中一台服务器发生故障，根据负载均衡的原理，调度器会遍历寻找可用节点，分发请求，由于session已同步，故能保证用户的session信息不会丢失，会话复制,。 此方案的不足之处： 必须在同一种中间件之间完成(如:tomcat-tomcat之间). session复制带来的性能损失会快速增加.特别是当session中保存了较大的对象,而且对象变化较快时, 性能下降更加显著，会消耗系统性能。这种特性使得web应用的水平扩展受到了限制。 Session内容通过广播同步给成员，会造成网络流量瓶颈，即便是内网瓶颈。在大并发下表现并不好 3、基于cacheDB缓存的session共享 基于memcache/redis缓存的 session 共享 即使用cacheDB存取session信息，应用服务器接受新请求将session信息保存在cache DB中，当应用服务器发生故障时，调度器会遍历寻找可用节点，分发请求，当应用服务器发现session不在本机内存时，则去cache DB中查找，如果找到则复制到本机，这样实现session共享和高可用。 三、nginx+tomcat+redis实现负载均衡、session共享 1、实验环境 主机 操作系统 IP地址 Nginx（4核CPU） Centos7.2 192.168.1.9 Tomcat-1 192.168.1.11 Tomcat-2 192.168.1.12 Mysql 192.168.1.10 Redis 192.168.1.13 2、虚拟机环境图： 3、实验拓扑 说明：在这个图中，nginx做为反向代理，实现静动分离，将客户动态请求根据权重随机分配给两台tomcat服务器，redis做为两台tomcat的共享session数据服务器，mysql做为两台tomcat的后端数据库。 4、nginx安装配置 说明：使用Nginx作为Tomcat的负载平衡器，Tomcat的会话Session数据存储在Redis，能够实现零宕机的7x24效果。因为将会话存储在Redis中，因此Nginx就不必配置成stick粘贴某个Tomcat方式，这样才能真正实现后台多个Tomcat负载平衡。 下面正式开始安装nginx： ①安装zlib-devel、pcre-devel等依赖包 注：结合proxy和upstream模块实现后端web负载均衡 结合nginx默认自带的ngx_http_proxy_module模块 和ngx_http_upstream_module模块实现后端服务器的健康检查。 Proxy:实现反向代理 Upstream：实现负载均衡 ②创建nginx程序用户 ③编译安装nginx 图中内容如下： ./configure--prefix=/usr/local/nginx1.10 --user=www --group=www--with-http_stub_status_module --with-http_realip_module --with-http_ssl_module--with-http_gzip_static_module--with-pcre--with-http_flv_module && make && make install ④优化nginx程序的执行路径 ⑤nginx语法检测 ⑥编写nginx服务脚本 脚本内容如下： #!/bin/bash # nginx Startupscript for the Nginx HTTP Server # chkconfig: -85 15 # pidfile:/usr/local/nginx1.10/logs/nginx.pid # config:/usr/local/nginx1.10/conf/nginx.conf nginxd=/usr/local/nginx1.10/sbin/nginx nginx_config=/usr/local/nginx1.10/conf/nginx.conf nginx_pid=/usr/local/nginx1.10/logs/nginx.pid RETVAL=0 prog="nginx" # Sourcefunction library. ./etc/rc.d/init.d/functions # Start nginxdaemons functions. start() { if [ -f$nginx_pid ] ; then echo"nginx already running...." exit 1 fi echo -n "Starting$prog: " $nginxd -c ${nginx_config} RETVAL=$? [ $RETVAL = 0 ]&& touch /var/lock/subsys/nginx } # Stop nginxdaemons functions. stop() { echo -n"Stopping $prog: " $nginxd -s stop RETVAL=$? [ $RETVAL = 0 ]&&rm -f /var/lock/subsys/nginx } # reloadnginxservice functions. reload() { echo -n"Reloading $prog: " $nginxd -s reload } # statusngnxservice functions status() { if [ -f$nginx_pid ] ; then echo "$prog is running" else echo "$prog is stop" fi } case "$1"in start) start ;; stop) stop ;; reload) reload ;; restart) stop start ;; status) status ;; *) echo"Usage: $prog {start|stop|restart|reload|status}" exit 1 ;; esac ⑧启动nginx服务 从上图可以看出来，nginx通过服务脚本启动失败了，解决办法如下： ⑨配置nginx反向代理：作用是（反向代理+负载均衡+健康探测） 修改nginx主配置文件： 配置文件内容如下： user www www; worker_processes 4; worker_cpu_affinity0001 0010 0100 1000; error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; worker_rlimit_nofile10240; pid logs/nginx.pid; events{ use epoll; worker_connections 4096; } http{ includemime.types; default_type application/octet-stream; log_format main'$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent"$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log logs/access.log main; server_tokensoff; sendfile on; tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #Compression Settings gzipon; gzip_comp_level6; gzip_http_version1.1; gzip_proxiedany; gzip_min_length1k; gzip_buffers16 8k; gzip_typestext/plain text/css text/javascript application/json application/javascript application/x-javascriptapplication/xml; gzip_varyon; #end gzip # http_proxy Settings client_max_body_size 10m; client_body_buffer_size 128k; proxy_connect_timeout 75; proxy_send_timeout 75; proxy_read_timeout 75; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; #load balance Settings upstreambackend_tomcat { server192.168.1.11:8080 weight=1 max_fails=2 fail_timeout=10s; server192.168.1.12:8080 weight=1 max_fails=2 fail_timeout=10s; } #virtual host Settings server{ listen 80; server_name www.benet.com; charsetutf-8; location/ { roothtml; index index.jsp index.html index.htm; } location~* \.(jsp|do)$ { proxy_pass http://backend_tomcat; proxy_redirectoff; proxy_set_headerHost $host; proxy_set_headerX-Real-IP $remote_addr; proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for; proxy_next_upstreamerror timeout invalid_header http_500 http_502 http_503 http_504; } location/nginx_status { stub_statuson; access_logoff; allow192.168.1.0/24; denyall; } } } 重启使其生效： ⑩配置防火墙规则 5、安装部署tomcat应用程序服务器 1）在tomcat-1和tomcat-2节点上安装JDK 说明：在安装tomcat之前必须先安装JDK，JDK的全称是java development kit,是sun公司免费提供的java语言的软件开发工具包，其中包含java虚拟机（JVM），编写好的java源程序经过编译可形成java字节码，只要安装了JDK，就可以利用JVM解释这些字节码文件，从而保证了java的跨平台性。 ①安装JDK，配置java环境： 将jdk-7u65-linux-x64.gz解压： 将解压的jdk1.7.0_65目录移致动到/usr/local/下并重命名为java： ②在/etc/profile文件中添加内容如下 图中内容如下： exportJAVA_HOME=/usr/local/java exportPATH=$JAVA_HOME/bin:$PATH ③通过source命令执行profile文件，使其生效 ④查看环境变量是否生效 ⑤在tomcat1上运行java -version命令查看java版本是否和之前安装的一致 ⑥按照①~⑤相同方法也在tomcat2上也安装JDK 截图这里就省略了，步骤都是一模一样的。 至此java环境已经配置完成了。 2）在tomcat-1和tomcat-2节点安装配置tomcat ①解压apache-tomcat-7.0.54.tar.gz包 ②将解压生成的文件夹移动到/usr/local/下，并改名为tomcat7 ③配置tomcat环境变量 图中内容如下： exportJAVA_HOME=/usr/local/java export CATALINA_HOME=/usr/local/tomcat7 exportPATH=$JAVA_HOME/bin:$CATALINA_HOME/bin:$PATH ④通过source命令执行profile文件，使其生效 ⑤查看环境变量是否生效 ⑥查看tomcat的版本信息 ⑦启动tomcat 注：startup.sh的路径是：/usr/local/tomcat7/bin/startup.s ⑧Tomcat默认运行在8080端口，运行netstat命令查看8080端口监听的信息 注：8009端口：专门用于和apache配合使用，当apache做为前段代理服务器时，把收到的请求转发给tomcat的8009端口，本实验中，8009端口就用不到了。 8080端口：是tomcat监听客户端的请求的端口，也用于nginx做前段代理服务器时，转发给tomcat的客户请求。 8005端口：是停止tomcat的端口，本实验也用不到。 ⑨防火墙规则配置 ⑩按照①~⑨相同方法也在tomcat2上也安装tomcat并做相关操作，截图这里就省略了，步骤都是一模一样的。 打开浏览器分别对tomcat-1和tomcat-2访问测试： 扩展知识点： 如果想关闭tomcat则运行/usr/local/tomcat7/bin/shutdown.sh命令。 3）好了，大家可以看到访成功，说明我们的tomcat安装完成。 下面我们来修改主配置文件 ① ②设置默认虚拟主机，并增加jvmRoute 说明：jvmRoute是jvm标识，就是页面最顶部的标签，在实际生产环境中，所有的后台tomcat标识都要一样，这里为了实验的说明性，我两台tomcat的标识改成不一样的。等会为了验证时候好验证。 这里tomcat1我就把标识设置成tomcat-1。 ③修改默认虚拟主机，并将网站文件路径指向/web/webapp1，在host段增加context段 说明：Context:是上下文，也是一个类，该类封装了每个用户会话、当前 HTTP 请求、请求的页等方面的信息。作用是：提供对整个当前上下文（包括请求对象）的访问。您可以使用此类共享页之间的信息。 docBase:指定Web应用的文件路径(即：就是你的应用的实际目录)，可以给定绝对路径，也可以给定相对于<Host>的appBase属性的相对路径，如果Web应用采用开放目录结构，则指定Web应用的根目录，如果Web应用是个war文件，则指定war文件的路径。(指定项目所在地址) path:指定访问该Web应用的URL入口（即：是给docBase后面跟的物理路径设置别名） reloadable:如果这个属性设为true，tomcat服务器在运行状态下会监视在WEB-INF/classes和WEB-INF/lib目录下class文件的改动，如果监测到有class文件被更新的，服务器会自动重新加载Web应用。 通俗的说：就是现在我们需要在tomcat里面自定义个网站目录，就需要配置虚拟目录，也就是上下文Comtext字段，起到承上启下的作用。 ④增加文档目录与测试文件 index.jsp内容如下： <%@pagelanguage="java" import="java.util.*"pageEncoding="UTF-8"%> <html> <head> <title>tomcat-1</title> </head> <body> <h1><fontcolor="red">Session serviced by tomcat</font></h1> <tablealigh="center" border="1"> <tr> <td>SessionID</td> <td><%=session.getId()%></td> <%session.setAttribute("abc","abc");%> </tr> <tr> <td>Createdon</td> <td><%=session.getCreationTime() %></td> </tr> </table> </body> <html> ⑤停止tomcat运行，检查配置文件并启动tomcat ⑥在tomcat2上重复①~⑤的操作，与tomcat1相比，只有jvmRoute不同，另外为了区分由哪个节点提供访问，测试页标题也不同（生产环境两个tomcat服务器提供的网页内容是相同的）。其他的配置都相同。 不同点和相同点截图如下：（×××区域是不同点，其他都一样） 用浏览器访问nginx主机，验证负载均衡： 第一次访问的结果： 第二次访问的结果： 说明：从上面的结果能看出两次访问，nginx把访问请求分别分发给了后端的tomcat1和tomcat2，客户端的访问请求实现了负载均衡，但session id不一样(即：没有实现session保持)，这样的话，会给后端服务器造成很大的压力。 再来验证一下健康检查： 说明：关掉一台tomcat主机，用客户端浏览器测试访问。 先关掉tomcat1的tomcat服务： 验证： 无论你怎么刷新页面，一直都是tomcat2提供服务，说明健康检查起到了作用，验证成功。 下面才是我们的本博文的重点内容： 一、配置tomcat通过redis实现会话保持 1）安装redis以及启动服务 ①下载redis源码： wgethttp://download.redis.io/releases/redis-3.2.3.tar.gz ②解压安装redis 下面是安装过程中，出现的一些信息，大家可以看一看： 图（一） 图（二） 说明：通过上图，我们可以很容易的看出，redis安装到/usr/local,/usr/local/bin,/usr/local/share,/usr/local/include,/usr/local/lib,/usr/local/share/man目录下。 ③然后再切换到utils目录下，执行redis初始化脚本install_server.sh 说明：这里我全部用的缺省值。全是默认回车了。 说明：通过上面的安装过程，我们可以看出redis初始化后redis配置文件为 /etc/redis/6379.conf，日志文件为/var/log/redis_6379.log，数据文件dump.rdb存放到/var/lib/redis/6379目录下，启动脚本为/etc/init.d/redis_6379。 ④现在我们要使用systemd，所以在 /etc/systems/system 下创建一个单位文件名字为 redis_6379.service 内容如下： [Unit] Description=Redison port 6379 [Service] Type=forking ExecStart=/etc/init.d/redis_6379start ExecStop=/etc/init.d/redis_6379stop [Install] WantedBy=multi-user.target 注：这里Type=forking是后台运行的形式 ⑤启动redis 从上图我们可以看到，服务状态是死亡状态，解决办法就是重启一下服务即可，如下图所示： 从上图可以看出来，redis默认监听的是本地回环地址的6379端口。 ⑥防火墙规则设置 ⑦使用redis-cli –version命令查看redis版本 说明：通过显示结果，我们可以看到redis版本是3.2.3。 到此源码方式安装redis就介绍完毕。 2）redis安装完毕之后，我们再来配置redis ①因为127.0.0.1不能通信，redis又默认监听本地回环地址，所以我们要设置redis监听的地址，添加监听redis主机的ip。同时考虑到安全性，我们需要启用redis的密码验证功能requirepass参数，redis默认是空密码访问，这样很不安全的。 最终redis配置文件如下： bind 127.0.0.1 192.168.1.13 protected-mode yes port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile /var/run/redis_6379.pid loglevel notice logfile /var/log/redis_6379.log databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /var/lib/redis/6379 slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 requirepass pwd@123 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes ②重新启动redis服务 ③redis配置文件配置完毕后，我们来启动redis并进行简单的操作 说明：关于redis-cli -h 192.168.1.13 -p 6379 -a pwd@123的参数解释。 这条命令是说要连接redis服务器，IP是192.168.1.13，端口是6379，密码是pwd@123。 keys*是查看redis所有的键值对。 setname dabiaoge添加一个键值name，内容为dabiaoge。 getname查看name这个键值的内容。 redis的命令使用暂时我们就介绍这么多 3）配置tomcatsession redis同步 ①下载tomcat-redis-session-manager相应的jar包，主要有三个： tomcat-redis-session-manage-tomcat7.jar jedis-2.5.2.jar commons-pool2-2.2.jar ②下载完成后拷贝到$TOMCAT_HOME/lib中 ③修改tomcat的context.xml： 图中内容如下： <ValveclassName="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve"/> <Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager" host="192.168.1.13" password="pwd@123" port="6379" database="0" maxInactiveInterval="60" /> ④重启tomcat服务 ⑤在tomcat2上重复①~④步骤的操作。 通过浏览器访问http://192.168.1.9/index.jsp测试页 刷新页面： 说明：可以看出，分别访问了不同的tomcat，但是得到的session却是相同的，说明达到了集群的目的。 注：从Tomcat6开始默认开启了Session持久化设置，测试时可以关闭本地Session持久化，其实也很简单，在Tomcat的conf目录下的context.xml文件中，取消注释下面那段配置即可： 修改前： <!-- Uncomment this to disable session persistenceacross Tomcat restarts --> <!-- <Manager pathname="" /> --> 修改后： <!-- Uncomment this to disable session persistenceacross Tomcat restarts --> <Manager pathname="" /> 修改后重启tomcat服务即可。 查看redis: 说明：从上图可以看出，为保持在tomcat2上的session会话保持建立了键值对。 二、配置tomcat连接数据库 说明：tomcat的session会话保持通过redis把这个问题解决掉了，现在该解决tomcat连接数据库问题了。 192.168.1.10作为mysql数据库服务器，开始下面的实验： ①进入mysql数据库的mysql交互式模式 ②建立授权用户、数据库、创建表和插入数据，以及查询验证 ③mysql防火墙配置 ④配置tomcat服务器连接mysql数据库 下载mysql-connector-java-5.1.22-bin.jar并复制到$CATALINA_HOME/lib目录下 ⑤上下文配置 通过向您的上下文添加资源声明，在tomcat中配置JNDI数据源 在<Context>中添加如下内容： 图中内容如下： <Resourcename="jdbc/TestDB" auth="Container"type="javax.sql.DataSource" maxActive="100"maxIdle="30" maxWait="10000" username="javauser"password="javapass" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.1.10:3306/javatest"/> ⑥在/web/webapp1/根目录下新建目录，用于存放网站xml配置文件，用于tomcat连接mysql数据库 添加内容如下： <web-appxmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd" version="2.4"> <description>MySQLTest App</description> <resource-ref> <description>DBConnection</description> <res-ref-name>jdbc/TestDB</res-ref-name> <res-type>javax.sql.DataSource</res-type> <res-auth>Container</res-auth> </resource-ref> </web-app> ⑦重启tomcat服务 ⑧在tomcat2上重复④~⑦步骤操作。 ⑨测试代码 现在创建一个简单的测试.jsp页面，测试tomcat和mysql的连通性 内容如下： <%@page language="java" import="java.sql.*"pageEncoding="GB2312"%> <html> <head> <title>MySQL</title> </head> <body> connectMySQL<br> <% StringdriverClass="com.mysql.jdbc.Driver"; Stringurl="jdbc:mysql://192.168.1.10:3306/javatest"; Stringusername = "javauser"; Stringpassword = "javapasswd"; Class.forName(driverClass); Connectionconn=DriverManager.getConnection(url, username, password); Statementstmt=conn.createStatement(); ResultSetrs = stmt.executeQuery("select * from testdata"); while(rs.next()){ out.println("<br>foo:"+rs.getString(2)+"bar:"+rs.getString(3)); } rs.close(); stmt.close(); conn.close(); %> </body></html> ⑩在tomcat2上重复⑨ 从上图可以看出来，现在tomcat可以连接到数据库了。 注： 以上配置均可以参考tomcat docs
