Springboot + Redis 4.x.x 搭建集群
Redis集群的搭建
简单介绍Redis
简单说一下Redis是什么,在我的理解中redis作为一个高性能的NoSql数据库,一种键值对的存储方式,并且这种键值对的类型很丰富,比如list、map等,寄存在内存中,并且可以实现持久化,并且redis支持对很多语言的客户端
Redis提供给Java操作的客户端Jedis
对Java来说这种由Redis官方提供的操作工具就是Jedis,介绍这种客户端之前,做过后端的人都清楚,假如用Mysql举例来说,连接Mysql的时候同样需要数据库连接池,因为有的时候其实执行一条Sql的效率很快,但是通过Tcp建立连接的时候可能会遇到一些复杂的情景,或者说建立时间会影响本该很简单的一条Sql的执行效率
这个时候就需要使用到数据库连接池,说白了数据库连接池的作用是,可以通过默认的配置或者指定配置指明数据库连接池中活跃的连接数,最小连接数以及最大连接数,当有一个请求到来应用服务器并且需要执行Sql的时候,就需要建立到数据库的连接,有了数据库连接池,这个时候只需要使用未被使用却已经建立好连接的一条与数据库之间的连接,使用完成后归还即可,Jedis作为NoSql数据库来说同样也有数据库连接池的存在来提高整体的性能
Deepin环境下搭建Redis集群
-
下载Redis解压包进入src下安装
sudo make && make install PREFIX=/usr/local/redis
简单来说就是编译下载下来的源文件并进行安装,安装目录为/usr/local/redis
下面开始搭建Redis集群,之前踩的坑或者一些没必要的点我也会说出来让大家参考一下
第一个坑
使用make && make install安装多个Redis,这个问题是我之前没有理解Redis能干什么,并且参照了Tomcat集群搭建方式犯下的错,并且网络上有些博客也是如此做法,实际上通过配置不同的redis.conf文件就能够通过使用redis-server启动不同配置下的不同Redis实例
将Redis下的redis.conf移动到/usr/local/redis下,并且在目录下创建cluster目录
-
cluster下创建conf文件夹,并且复制该redis.conf生成5个副本
-
修改配置文件中的字段
port 6379~6384(共6台Redis的开放端口) cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes daemonize yes
上面的配置主要为开放端口的配置以及开启集群功能,使用各自的.conf文件,集群节点重试时间,以及后台运行设置为yes
-
接下来回到bin目录下使用
./redis-server cluster/conf/redis-main.conf ./redis-server cluster/conf/redis-1.conf ./redis-server cluster/conf/redis-2.conf ./redis-server cluster/conf/redis-3.conf ./redis-server cluster/conf/redis-4.conf ./redis-server cluster/conf/redis-5.conf
使用这6条命令开启6台Redis服务器实例
第二个坑
我以为这样设置之后,并且开启了6台Redis服务器实例之后,就可以在项目中使用了,并且在springboot项目中使用如下配置
spring: redis: cluster: nodes[0]: 127.0.0.1:6379 nodes[1]: 127.0.0.1:6381 nodes[2]: 127.0.0.1:6382 nodes[3]: 127.0.0.1:6383 nodes[4]: 127.0.0.1:6384 nodes[5]: 127.0.0.1:6385 max-redirects: 3 jedis: pool: max-active: 8 min-idle: 0
使用spring.redis.cluster节点通过数组类型配置了集群的Redis的ip以及端口,详细使用可以参考Spring-data-redis的官方文档,如下
@Component @ConfigurationProperties(prefix = "spring.redis.cluster") public class ClusterConfigurationProperties { /* * spring.redis.cluster.nodes[0] = 127.0.0.1:7379 * spring.redis.cluster.nodes[1] = 127.0.0.1:7380 * ... */ List<String> nodes; /** * Get initial collection of known cluster nodes in format {@code host:port}. * * @return */ public List<String> getNodes() { return nodes; } public void setNodes(List<String> nodes) { this.nodes = nodes; } }
这样的话就可以使用一个LIst集合去接收集群节点的ip和端口配置
如何搭建Redis集群?
参考Redis的官方文档以及博客我发现,Redis的官方文档表示,他们在src下已经有Ruby写好的搭建Redis的脚本,我们只需要使用ruby去运行即可搭建一个集群环境
首先大家自行百度如何进行安装ruby环境,并且通过gem命令安装支持搭建redis集群的插件,gem其实就是一种文件组织的包,一般的ruby很多插件都由这种包提供
gem install redis
安装了支持搭建redis集群的ruby插件之后,下面开始执行Redis官方提供的搭建集群的脚本
ruby /home/zeng/redis/src/redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
使用create命令来创建一个新的集群。选项--replicas 1表示我们想为每个master指定一个slave。其余参数是需要加到集群的实例地址
我们来关注一下这些日志,首先我们构建了一个有6个实例的Redis集群,构建后的集群是3个主库和3个从库,可以看到脚本的默认实现是创建主从库形式,在Redis中,主从库的形式可以让一个服务器去复制(replicate)另一个服务器,我们称呼被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave),主从库的设计,基本上都是主库负责读写,从库只读,这样来降低单Redis的性能问题,可以看到日志M标注的是主库,S标记的是从库,并且也有哪些从库从属于哪些主库的日志这样的话,16384个扇区全部被分上了Redis节点,这样的话真正的Redis集群才算搭建完成
SpringBoot项目对Redis集群的操作
框架之所以称之为框架,就是因为在原生的基础上有了很多条条框框,虽然框架是对原生的一种高度封装以及高度抽象,让用户只需要关注如何使用而不需要关注实现细节,但是我个人觉得,框架使用久了之后,用我们实验室小组组长的话说:真的很容易框进去
官方文档中SPring-data-redis对Redis集群的支持
@Configuration public class AppConfig { /** * Type safe representation of application.properties */ @Autowired ClusterConfigurationProperties clusterProperties; public @Bean RedisConnectionFactory connectionFactory() { return new JedisConnectionFactory( new RedisClusterConfiguration(clusterProperties.getNodes())); } } //下面是操作的伪代码 RedisClusterConnection connection = connectionFactory.getClusterConnnection(); connection.set("thing1", value); connection.set("thing2", value); connection.keys("*"); connection.keys(NODE_7379, "*"); connection.keys(NODE_7380, "*"); connection.keys(NODE_7381, "*"); connection.keys(NODE_7382, "*");
大概来说其实就是注册一个返回对Redis集群操作的connect的Bean,并且通过这个Bean注入到需要使用的代码块中,使用这个connect进行操作
因为代码中已有的Redis操作工具类是使用RedisTemplate实现的,使用过Springboot构建项目并且使用过Redis作为缓存或者别的用途的开发者应该都能了解过RedisTemplate,这个类其实也是Spring团队花了大功夫封装的类,它真的能够让我觉得,使用它进行操作Redis的时候没有连接池这一回事在,并且使用它操作Redis的时候完全不需要考虑如何实现,总之它就能实现
/** * redis存储方法 * @param key * @param value */ public void setRedisValue(String key, String value) { try { redisTemplate.opsForValue().set(key, value); } catch (Exception e) { logger.error("set key {} value {} error", key, value, e); } }
上面的例子介绍了是如何使用RedisTemplate进行操作Redis实例进行存放键值对的,当然上面说了那些话并不是想让大家觉得框架不好,框架在某种程度真的很能帮助开发,尤其是在实现一些使用原生逻辑很难实现的东西的时候,框架便发挥的他的作用,关于RedisTemplate的使用以及分析,我就不在这里赘述了
难道必须要使用connect获取到与集群Redis的连接之后才能操作数据库吗?RedisTemplate就不行吗?
具体的分析可以参考这篇博客:http://www.360doc.com/content/17/1116/14/412471_704352623.shtml
我在使用RedisTemplate之前封装的方法的时候完全也可以做到在集群上操作的目的,这样的话Redis集群的搭建以及Springboot工程对集群的支持就可以到这里了
下面为大家展示几个demo
@SpringBootTest @RunWith(SpringRunner.class) public class RedisTest { @Autowired private RedisUtil redisUtil; @Test public void cluster() { for (int i = 0; i < 100; i++) { redisUtil.setRedisValue(i + "", i + " "); } } }
其中RedisUtil作为使用RedisTemplate操作Redis的工具类我声明为了组件@Component以便注入测试,目的很明确,循环100次将key=i且value=i的键值存入Redis集群中
看一下结果就结束这次的说明吧,节点的分布以及一致性哈希算法看下一篇博客
可以看到节点内的数值基本互不一直,下篇博客将为大家介绍一致性Hash算法
第一次用自己的话写博客,如有错误请各位指正
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
如何在面试中介绍自己的项目经验
在面试时,经过寒暄后,一般面试官会让介绍项目经验 。常见的问法是,说下你最近的(或最拿得出手的)一个项目。 根据我们的面试经验,发现有不少候选人对此没准备,说起来磕磕巴巴,甚至有人说出项目经验从时间段或技术等方面和简历上的不匹配,这样就会造成如下的后果。 第一印象就不好了,至少会感觉该候选人表述能力不强。 一般来说,面试官会根据候选人介绍的项目背景来提问题,假设面试时会问10个问题,那么至少有5个问题会根据候选人所介绍的项目背景来问,候选人如果没说好,那么就没法很好地引导后继问题了,就相当于把提问权完全交给面试官了。 面试时7份靠能力,3份靠技能,而刚开始时的介绍项目又是技能中的重中之重,所以本文将从“介绍”和“引导”两大层面告诉大家如何准备面试时的项目介绍。 好了,如下是正文内容。 1、在面试前准备项目描述,别害怕,因为面试官什么都不知道 面试官是人,不是神,拿到你的简历的时候,是没法核实你的项目细节的(一般公司会到录用后,用背景调查的方式来核实)。 更何况,你做的项目是以月为单位算的,而面试官最多用30分钟来从你的简历上了解你的项目经验,所以你对项目的熟悉程度要远远超过面试官,所以...
- 下一篇
学习ASP.NET Core Razor 编程系列一
原文: 学习ASP.NET Core Razor 编程系列一 一. 概述 .NET Core 1.0发布的时候就想进行学习的,不过根据微软的以往的发布规律1.0版可以认为是大众测试版,2.0才算稳定。现在2.1都已经发布了预览版,之前对其"不稳定"的顾虑也打消的差不多了,决定学习一下。 ASP.NET Core 具有如下优点: 生成 Web UI 和 Web API 的统一场景。 集成新式客户端框架和开发工作流。 基于环境的云就绪配置系统。 内置依赖项注入。 轻型的高性能模块化 HTTP 请求管道。 能够在IIS、Nginx、Apache、Docker上进行托管或在自己的进程中进行自托管。 定目标到.NET Core时,可以使用并行应用版本控制。 简化新式 Web 开发的工具。 兼容性,.NET Core 通过 .NET 标准与 .NET Framework、Xamarin 和 Mono 兼容。 能够在 Windows、macOS 和 Linux 进行生成和运行。 开放源代码和以社区为中心。 如何跨平台? 我先上一张图,然后我们再来看一下官方对.NET CORE 的介绍。 ...
相关文章
文章评论
共有0条评论来说两句吧...