首页 文章 精选 留言 我的

精选列表

搜索[SpringBoot4]，共10000篇文章
优秀的个人博客,低调大师

4种常见的缓存问题及解决方案详解

前言 使用缓存可以缓解大流量压力，显著提高程序的性能。我们在使用缓存系统时，尤其是大并发情况下，经常会遇到一些“疑难杂症”。本文总结了一些使用缓存时常见的问题及解决方案，以后在遇到这类问题时可以作为参考，在设计缓存系统的时候也应该考虑这些常见的情况。为了表述方便，本文以数据库查询缓存为例，使用缓存可以减小对数据库的压力。 缓存穿透 我们在使用缓存时，往往先尝试去缓存中取值，如果没有，再去数据库取值，如果数据库也没有值，则根据业务需求，返回空或者抛异常。如果用户一直访问一个数据库不存在的数据，比如id为-1的数据，就会导致每次请求都会先去缓存查一次，然后再去数据库查一次，造成严重的性能问题。这种情况就叫缓存穿透。解决方案以下几种解决方案：对请求参数做校验，比如用户鉴权校验，id做基础校验，id <= 0的直接拦截。如果查询到数据库没有值，也将对应的key存进缓存中，value为null。这样下次查询就直接从缓存返回了。但这里的key的缓存时间应该比较短，比如30s。防止后面在数据库插入了这条数据，而用户获取不到。使用布隆过滤器，判断一个key是否已经查过了，如果已经查过了，就不去数据库查询。 缓存击穿 缓存击穿指的是，一个key的访问量非常大，比如某秒杀活动，有1w/s的并发量。这个key在某一时刻过期，那这些大量的请求就会一瞬间到数据库，数据库可能会直接崩溃。解决方案缓存击穿的解决方案也有几种，可以配合使用：对于热点数据，慎重考虑过期时间，确保热点期间key不会过期，甚至有些可以设置永不过期。使用互斥锁（比如Java的多线程锁机制），第一个线程访问key的时候就锁住，等查询数据库返回后，把值插入到缓存后再释放锁，这样后面的请求就可以直接取缓存里面的数据了。 缓存雪崩 缓存雪崩指的是，在某一时刻，多个key失效。这样就会有大量的请求从缓存中获取不到值，全部到数据库。还有另一种情况，就是缓存服务器宕机，也算做缓存雪崩。解决方案针对上述两种情况，缓存雪崩有两种解决方案：对每个key的过期时间设置一个随机值，而不是所有key都相同。使用高可用的分布式缓存集群，确保缓存的高可用性，比如redis-cluster。 双写不一致 在使用数据库缓存的时候，读和写的流程往往是这样的：读取的时候，先读取缓存，如果缓存中没有，就直接从数据库中读取，然后取出数据后放入缓存更新的时候，先删除缓存，再更新数据库所谓双写不一致，就是在发生写操作（更新）的时候或写操作之后，可能会存在数据库里面的值和缓存中的值不同的情况。为什么更新的时候要先删除缓存，再更新数据库？因为如果先更新数据库，然后在删除缓存的时候失败了，就会造成缓存里面的值和数据库的值不一致。然而这样并不能完全避免双写不一致问题。假设在大并发情景下，一个线程先删除缓存，然后取更新数据库，这个时候另一个线程去取缓存，发现没有值，于是去读数据库，然后把数据库旧的值设置进缓存。等第一个线程更新完数据库后，数据库里面就是新的值，而缓存里面是旧的值，所以就存在了数据不一致的问题。一个比较简单的解决办法是把过期时间设置得比较低，这样就只有在缓存没过期之前存在数据不一致问题，在一些业务场景下也还能接受。另一种解决方案是使用队列辅助。先更新数据库，再删除缓存。如果删除失败，就放进队列。然后另一个任务从队列中取出消息，不断去重试删除相应的key。还有一种解决方案是使用对一个数据使用一个队列，使读写操作串行化。比如对id为n的数据建立一个队列。对这条数据的写操作，删除缓存后，放进一个队列；然后另一个线程过来了，发现没有缓存，则把这个读操作也放进这个队列里面。欢迎大家关注我的公种浩【程序员追风】，文章都会在里面更新，整理的资料也会放在里面。不过这样会增加程序的复杂性，串行化也会降低程序的吞吐量，可能得不偿失。一般主流的解决方案还是先删除缓存，再更新数据库。可以满足绝大部分需求。 最后 欢迎大家一起交流，喜欢文章记得点个赞哟，感谢支持！
2019-10-22
优秀的个人博客,低调大师

4个点让你彻底明白Redis的各项功能

前言 先看一下Redis是一个什么东西。官方简介解释到：Redis是一个基于BSD开源的项目，是一个把结构化的数据放在内存中的一个存储系统，你可以把它作为数据库，缓存和消息中间件来使用。同时支持strings，lists，hashes，sets，sorted sets，bitmaps，hyperloglogs和geospatial indexes等数据类型。它还内建了复制，lua脚本，LRU，事务等功能，通过redis sentinel实现高可用，通过redis cluster实现了自动分片。以及事务，发布/订阅，自动故障转移等等。综上所述，Redis提供了丰富的功能，初次见到可能会感觉眼花缭乱，这些功能都是干嘛用的？都解决了什么问题？什么情况下才会用到相应的功能？那么下面从零开始，一步一步的演进来粗略的解释下。 从0开始 最初的需求非常简单，我们有一个提供热点新闻列表的api，api的消费者抱怨说每次请求都要2秒左右才能返回结果。随后我们就着手于如何提升一下api消费者感知的性能，很快最简单粗暴的第一个方案就出来了：为API的响应加上基于HTTP的缓存控制 cache-control:max-age=600 ，即让消费者可以缓存这个响应十分钟。如果api消费者如果有效的利用了响应中的缓存控制信息，则可以有效的改善其感知的性能（10分钟以内）。但是还有2个弊端：第一个是在缓存生效的10分钟内，api消费者可能会得到旧的数据；第二个是如果api的客户端无视缓存直接访问API依然是需要2秒，治标不治本呐。 基于本机内存的缓存 为了解决调用API依然需要2秒的问题，经过排查，其主要原因在于使用SQL获取热点新闻的过程中消耗了将近2秒的时间，于是乎，我们又想到了一个简单粗暴的解决方案，即把SQL查询的结果直接缓存在当前api服务器的内存中（设置缓存有效时间为1分钟）。后续1分钟内的请求直接读缓存，不再花费2秒去执行SQL了。假如这个api每秒接收到的请求时100个，那么一分钟就是6000个，也就是只有前2秒拥挤过来的请求会耗时2秒，后续的58秒中的所有请求都可以做到即使响应，而无需再等2秒的时间。其他API的小伙伴发现这是个好办法，于是很快我们就发现API服务器的内存要爆满了。。。 服务端的Redis 在API服务器的内存都被缓存塞满的时候，我们发现不得不另想解决方案了。最直接的想法就是我们把这些缓存都丢到一个专门的服务器上吧，把它的内存配置的大大的。然后我们就盯上了redis。。。至于如何配置部署redis这里不解释了，redis官方有详细的介绍。随后我们就用上了一台单独的服务器作为Redis的服务器，API服务器的内存压力得以解决。3.1 持久化（Persistence）单台的Redis服务器一个月总有那么几天心情不好，心情不好就罢工了，导致所有的缓存都丢失了（redis的数据是存储在内存的嘛）。虽然可以把Redis服务器重新上线，但是由于内存的数据丢失，造成了缓存雪崩，API服务器和数据库的压力还是一下子就上来了。所以这个时候Redis的持久化功能就派上用场了，可以缓解一下缓存雪崩带来的影响。redis的持久化指的是redis会把内存的中的数据写入到硬盘中，在redis重新启动的时候加载这些数据，从而最大限度的降低缓存丢失带来的影响。3.2 哨兵（Sentinel）和复制（Replication）Redis服务器毫无征兆的罢工是个麻烦事。那么怎办办？答曰：备份一台，你挂了它上。那么如何得知某一台redis服务器挂了，如何切换，如何保证备份的机器是原始服务器的完整备份呢？这时候就需要Sentinel和Replication出场了。Sentinel可以管理多个Redis服务器，它提供了监控，提醒以及自动的故障转移的功能；Replication则是负责让一个Redis服务器可以配备多个备份的服务器。Redis也是利用这两个功能来保证Redis的高可用的。此外，Sentinel功能则是对Redis的发布和订阅功能的一个利用。3.3 集群（Cluster）单台服务器资源的总是有上限的，CPU资源和IO资源我们可以通过主从复制，进行读写分离，把一部分CPU和IO的压力转移到从服务器上。但是内存资源怎么办，主从模式做到的只是相同数据的备份，并不能横向扩充内存；单台机器的内存也只能进行加大处理，但是总有上限的。所以我们就需要一种解决方案，可以让我们横向扩展。最终的目的既是把每台服务器只负责其中的一部分，让这些所有的服务器构成一个整体，对外界的消费者而言，这一组分布式的服务器就像是一个集中式的服务器一样（之前在解读REST的博客中解释过分布式于基于网络的差异：基于网络应用的架构）。在Redis官方的分布式方案出来之前，有twemproxy和codis两种方案，这两个方案总体上来说都是依赖proxy来进行分布式的，也就是说redis本身并不关心分布式的事情，而是交由twemproxy和codis来负责。而redis官方给出的cluster方案则是把分布式的这部分事情做到了每一个redis服务器中，使其不再需要其他的组件就可以独立的完成分布式的要求。我们这里不关心这些方案的优略，我们关注一下这里的分布式到底是要处理那些事情?也就是twemproxy和codis独立处理的处理分布式的这部分逻辑和cluster集成到redis服务的这部分逻辑到底在解决什么问题？如我们前面所说的，一个分布式的服务在外界看来就像是一个集中式的服务一样。那么要做到这一点就面临着有一个问题需要解决：既是增加或减少分布式服务中的服务器的数量，对消费这个服务的客户端而言应该是无感的；那么也就意味着客户端不能穿透分布式服务，把自己绑死到某一个台的服务器上去，因为一旦如此，你就再也无法新增服务器，也无法进行故障替换。解决这个问题有两个路子：第一个路子最直接，那就是我加一个中间层来隔离这种具体的依赖，即twemproxy采用的方式，让所有的客户端只能通过它来消费redsi服务，通过它来隔离这种依赖（但是你会发现twermproxy会成为一个单点），这种情况下每台redis服务器都是独立的，它们之间彼此不知对方的存在；第二个路子是让redis服务器知道彼此的存在，通过重定向的机制来引导客户端来完成自己所需要的操作，比如客户端链接到了某一个redis服务器，说我要执行这个操作，redis服务器发现自己无法完成这个操作，那么就把能完成这个操作的服务器的信息给到客户端，让客户端去请求另外的一个服务器，这时候你就会发现每一个redis服务器都需要保持一份完整的分布式服务器信息的一份资料，不然它怎么知道让客户端去找其他的哪个服务器来执行客户端想要的操作呢。上面这一大段解释了这么多，不知有没有发现不管是第一个路子还是第二个路子，都有一个共同的东西存在，那就是分布式服务中所有服务器以及其能提供的服务的信息。这些信息无论如何也是要存在的，区别在于第一个路子是把这部分信息单独来管理，用这些信息来协调后端的多个独立的redis服务器；第二个路子则是让每一个redis服务器都持有这份信息，彼此知道对方的存在，来达成和第一个路子一样的目的，优点是不再需要一个额外的组件来处理这部分事情。Redis Cluster的具体实现细节则是采用了Hash槽的概念，即预先分配出来16384个槽：在客户端通过对Key进行CRC16（key）% 16384运算得到对应的槽是哪一个；在redis服务端则是每个服务器负责一部分槽，当有新的服务器加入或者移除的时候，再来迁移这些槽以及其对应的数据，同时每个服务器都持有完整的槽和其对应的服务器的信息，这就使得服务器端可以进行对客户端的请求进行重定向处理。欢迎大家关注我的公种浩【程序员追风】，文章都会在里面更新，整理的资料也会放在里面。 客户端的Redis 上面的第三小节主要介绍的是Redis服务端的演进步骤，解释了Redis如何从一个单机的服务，进化为一个高可用的、去中心化的、分布式的存储系统。这一小节则是关注下客户端可以消费的redis服务。4.1 数据类型redis支持丰富的数据类型，从最基础的string到复杂的常用到的数据结构都有支持：string：最基本的数据类型，二进制安全的字符串，最大512M。list：按照添加顺序保持顺序的字符串列表。set：无序的字符串集合，不存在重复的元素。sorted set：已排序的字符串集合。hash：key-value对的一种集合。bitmap：更细化的一种操作，以bit为单位。hyperloglog：基于概率的数据结构。这些众多的数据类型，主要是为了支持各种场景的需要，当然每种类型都有不同的时间复杂度。其实这些复杂的数据结构相当于之前我在《解读REST》这个系列博客基于网络应用的架构风格中介绍到的远程数据访问（Remote Data Access = RDA）的具体实现，即通过在服务器上执行一组标准的操作命令，在服务端之间得到想要的缩小后的结果集，从而简化客户端的使用，也可以提高网络性能。比如 如果没有list这种数据结构，你就只能把list存成一个string，客户端拿到完整的list，操作后再完整的提交给redis，会产生很大的浪费。4.2 事务上述数据类型中，每一个数据类型都有独立的命令来进行操作，很多情况下我们需要一次执行不止一个命令，而且需要其同时成功或者失败。redis对事务的支持也是源自于这部分需求，即支持一次性按顺序执行多个命令的能力，并保证其原子性。4.3 Lua脚本在事务的基础上，如果我们需要在服务端一次性的执行更复杂的操作（包含一些逻辑判断），则lua就可以排上用场了（比如在获取某一个缓存的时候，同时延长其过期时间）。redis保证lua脚本的原子性，一定的场景下，是可以代替redis提供的事务相关的命令的。相当于基于网络应用的架构风格中介绍到的远程求值（Remote Evluation = REV）的具体实现。4.4 管道因为redis的客户端和服务器的连接时基于TCP的， 默认每次连接都时只能执行一个命令。管道则是允许利用一次连接来处理多条命令，从而可以节省一些tcp连接的开销。管道和事务的差异在于管道是为了节省通信的开销，但是并不会保证原子性。4.5 分布式锁官方推荐采用Redlock算法，即使用string类型，加锁的时候给的一个具体的key，然后设置一个随机的值；取消锁的时候用使用lua脚本来先执行获取比较，然后再删除key。具体的命令如下： SET resource_name my_random_value NX PX 30000 if redis.call("get",KEYS[1]) == ARGV[1] then return redis.call("del",KEYS[1]) else return 0 end 总结 本篇着重从抽象层面来解释下redis的各项功能以及其存在的目的，而没有关心其具体的细节是什么。从而可以聚焦于其解决的问题，依据抽象层面的概念可以使得我们在特定的场景下选择更合适的方案，而非局限于其技术细节。 最后 欢迎大家一起交流，喜欢文章记得点个赞哟，感谢支持！
2019-10-09
优秀的个人博客,低调大师

ZBLibrary 21.0 发布，Android 框架 4.1K Star 进前 4

更新内容： 新增线程池封装类； 更好地适配全面屏； 解决 bug，优化代码； ZBLibrary-Android快速开发框架(4.1K Star) MVP架构的Android快速开发框架， 提供一套开发标准（View,Data,Event）以及模板和工具类并规范代码。 封装层级少，简单高效兼容性好。 OKHttp、UIL图片加载、ZXing二维码、沉浸状态栏、下载安装、自动缓存以及各种Base、Demo、UI、Util直接用。 全新的手势，侧滑返回、全局右滑返回都OUT啦！ 用BaseView，自定义View竟然如此简单; 用Entry，两个变量的Model/JavaBean再也不用写了; 用BaseHttpListActivity，几行代码搞定http请求列表 加载和缓存; 还有100多个常用style，一行搞定View属性，一键统一配置UI; 点击右边链接查看如何使用http://my.oschina.net/u/2437072/blog/665241 [以下Gif图看起来比较卡，实际在手机上App运行很流畅] ZBLibraryDemoApp APIJSONApp 下载试用 ZBLibraryDemoApp.apk(ZBLibrary) APIJSONApp.apk(APIJSON+ZBLibrary) 生成代码 可使用APIJSONAuto自动化接口管理工具来生成接口相关代码： 自动生成封装请求JSON的代码 自动生成解析结果JSON的代码 自动生成Modle/JavaBean https://github.com/TommyLemon/APIJSONAuto 相关推荐 Android快速开发框架-ZBLibrary介绍 如何使用ZBLibrary-Android快速开发框架 仿QQ空间和微信朋友圈，高解耦高复用高灵活 全新的手势，侧滑返回、全局右滑返回都OUT啦！ 不一样的Android选择器，简单方便，地址日期时间都好用！ 自定义ZXing二维码扫描界面并解决取景框拉伸等问题 零门槛！ZBLibrary仿微信朋友圈自定义View，就是这么简单！ BaseHttpListActivity，几行代码搞定Http列表请求、加载和缓存 ListView滑动不爽,滚动一页得滑几次？该用分页列表啦！ 高灵活低耦合Adapter快速开发攻略 万能的Entry，两个变量的Model/JavaBean再也不用写了！ Android HTTPS如何10分钟实现自签名SSL证书 100多个Styles快速开发布局XML，一行搞定View属性，一键统一配置UI… 开发规范 Wiki-Norm 架构、模式、技术 Wiki-Architecture,Pattern,Technology 问题及解决方法 Wiki-FAQ 使用登记 您在使用ZBLibrary吗？ 关于作者 感谢其它作者的贡献。 其它项目 APIJSON后端接口和文档自动化，前端(客户端) 定制返回JSON的数据和结构 APIJSONAuto自动化接口管理工具，自动生成封装与解析JSON的代码 APIJSON-Android-RxJavaZBLibrary(UI) + APIJSON(HTTP) + RxJava(Data) 码云主页 创作不易，右上角点 ⭐Star 支持下吧，谢谢 ^_^ https://gitee.com/TommyLemon/Android-ZBLibrary
2019-08-20
优秀的个人博客,低调大师

秒懂数据类型的真谛—Python基础前传（4）

一切编程语言都是人设计的，既然是人设计的，那么设计各种功能的时候就一定会有它的道理，那么设计数据类型的用意是什么呢？ (一) 基本数据类型 基本数据类型： 数字 int 字符串 str 布尔值 bool 列表 list 元组 tuple 字典 dict (二)不同类型，不同“形状” 写程序就如同写作文，当我们把不同的“形状”写在作文中，你一眼就可以看出我们作文中的不同类型是什么 不同的形状就相当于不同的类型模版，模版是什么作用呢？ 先看这样一个例子，Python中怎样把英文的字符串变成大写呢？ temp = "hello" temp_new =temp.upper() print(temp_new) 代码显示的结果为HELLO 例子中upper相当于执行了字符串转化大写的功能（方法），从这个例子中我们可以知道，一个字符串有很多的功能，那么三角形所代值的字符串都具有相同的属性功能，如下图所示： 那么，现在jacky可以总结最初的设计者设计数据分类的真正用意是什么： 对于计算机来说，如果每一个具体的数字（字符串、列表等等）都具有一个功能的话，在计算机里所需的内存和空间就很大，为了释放了内存，减轻了计算机的负担，我们要给数据做模版，这也就是给数据分类 (三)引申－类和对象 对于有基础的朋友，jacky对于这个话题再做一下引申： 类和对象的关系 上面这些“有形状”的模版就是类，通过这些模版可以创建不同的值，创建的这些值就叫做对象，对象要想创建出来需要依靠类; 所有对象所具备的功能都保存在相应的类里
2019-01-10

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-03-01 大小: 1MB 下载: 6次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
热门标签
SpringCloud Docker Gemini3 HarmonyOS6 Jdk25 OpenAi Service Mesh SpringBoot4 DeepSeek Kubernetes Rocky Nacos3 Redis

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册