首页 文章 精选 留言 我的

精选列表

搜索[c 14],共10000篇文章
优秀的个人博客,低调大师

《Redis 8.10 + Spring Boot 实战》第14招 Redis 8 新世界——JSON、Search、Vector、Time Series 与概

## 01、痛点 最近,一个做户外装备电商的朋友找我,说他们用 Redis 做商品详情缓存,但搜索功能很痛苦。用户输入“帮我找适合长途旅行的轻量背包”,业务上需要同时完成几件事:理解“轻量背包”和“长途旅行”的语义,过滤标签和价格区间,按相关度排序。早期方案是 Redis 扛读,Elasticsearch 做全文和标签过滤,向量数据库单独部署处理语义召回,结果三套系统互相等、数据同步延迟、运维复杂。 我是老李。今天聊聊 Redis 8 之后的一个关键变化:过去模块化的 JSON、搜索、时间序列等能力,已经逐步整合进 Redis Open Source。对 Spring Boot 开发者来说,这意味着可以用一个 Redis 实例,完成 JSON 存储、全文检索、范围过滤和向量搜索。这不是标题党,而是一个值得重新评估技术选型的节点。 ## 02、是什么 Redis 8 的变化,最值得注意的不是“又多了几个命令”,而是定位变了:从 key-value store 演化为多模型实时数据平台。它仍然保留最基本的高性能 KV 读写,但原生 JSON 文档、搜索索引、向量检索、时间序列等能力,让数据不只存值,还能在同一套存储上被查询、过滤和排序。 具体来说: - Redis JSON:允许把商品信息按 JSON 文档存储,字段可读、可路径访问。 - Redis Search:支持全文、范围、地理和向量检索。全文对应词法匹配,范围对应价格/数值过滤,地理对应位置筛选。 - Vector Set:Redis 8 提供面向语义检索的能力,适合存放 Embedding 并做近邻查询。 这里要强调:整合不是要替代 MySQL 或专门搜索引擎。MySQL 仍是关系模型和事务来源,Redis 更强的是实时数据面、低延迟查询和统一读模型。 ## 03、为什么 为什么需要多模型实时数据平台?可以先看三种查询: 1. 普通 KV Lookup:知道商品 ID,直接读 product:1001,解决“我有明确标识,取不回值”。 2. 全文 Search:知道关键词和条件,如“轻量背包、价格 0-800、标签长途旅行”,解决“条件明确但字段分散”的词法检索。 3. Vector Search:用户说“适合长途旅行的轻量背包”,没有精确关键词,需要语义相近,解决“表达模糊但意图相关”。 传统方案里,三件事由三个系统完成,跨网络、跨队列、跨缓存。Redis 8 把它们放到一个引擎中,商品 JSON 写入后,全文、标签、价格、向量索引近实时更新,查询链路大幅缩短。这对商品搜索、实时推荐、风控场景都很有吸引力。 从时间点看,Redis 8 刚把模块能力纳入开源,社区关注度高,但完整实践还少,现在写清楚 Spring Boot 的接法和落地边界,正好能避免后面踩坑。 ## 04、架构 整体架构可以这样画: Spring Boot 应用 -> 商品仓储层 -> RedisConnection / 原生客户端 -> Redis 8(JSON + Search + Vector) 数据流分两条: - 写入流:商品服务把商品信息转成 JSON,调用嵌入模型生成向量,再写入 Redis。写入同时触发索引更新。 - 查询流:用户查询词进来,优先走结构化条件+全文;如果语义表达强,再走向量 KNN;复杂场景两者结合,用混合打分。 数据结构示例: product:1001 是 JSON 文档,字段包括 name、tags、price、embedding。索引 idx:product 建立在这些字段上。 关键工程决策是 Spring Boot 集成方式。Spring Data Redis 对 RedisTemplate 做了大量高级封装,但 Redis 8 很多新命令还没有对应 API。不要硬套 RedisTemplate,否则容易遇到序列化不对、命令不支持的问题。更灵活的做法是下沉到 RedisConnection 或直接使用原生客户端(Lettuce/Jedis),封装成自己的查询方法。这样新命令一发布,应用层就能用。 ## 05、实战 环境准备:Redis 8 开源版,Spring Boot 3.x,spring-boot-starter-data-redis。嵌入模型可以用自建服务,比如把商品标题和用户查询分别生成 384 维向量。 步骤一:创建索引。用 Redis 命令先看结构: ``` FT.CREATE idx:product ON JSON PREFIX 1 product: SCHEMA $.name AS name TEXT $.tags AS tags TAG $.price AS price NUMERIC $.embedding AS embedding VECTOR HNSW 6 TYPE FLOAT32 DIM 384 DISTANCE_METRIC COSINE ``` 翻译过来:对 product: 前缀的 JSON 文档创建索引,name 是 TEXT,tags 是 TAG,price 是 NUMERIC,embedding 是 HNSW 向量索引。 步骤二:写入商品 JSON 和向量。Java 侧直接通过 RedisConnection 执行底层命令: ``` RedisConnection conn = redisTemplate.getConnectionFactory().getConnection(); conn.execute("JSON.SET", key.getBytes(UTF_8), path.getBytes(UTF_8), json.getBytes(UTF_8)); ``` 关键点:不要让 RedisTemplate 用默认 JDK 序列化去写 JSON 文本,统一用 UTF-8 字节。 步骤三:普通 KV Lookup。这个最简单: ``` String key = "product:1001"; String json = new String(conn.get(key.getBytes(UTF_8)), UTF_8); ``` 解决精确读取,商品详情页仍用这个路径。 步骤四:全文+过滤。比如用户搜索“轻量背包”,标签要“长途旅行”,价格 0 到 800: ``` FT.SEARCH idx:product "@name:轻量背包 @tags:{长途旅行} @price:[0 800]" RETURN 3 $.name AS name $.price AS price ``` Spring Boot 中把命令参数组好,通过 RedisConnection 发给 Redis。全文负责词法,TAG 和 NUMERIC 负责条件过滤。 步骤五:语义搜索。用户问“适合长途旅行的轻量背包”,先用嵌入模型把查询转成向量,再执行 KNN: ``` FT.SEARCH idx:product "*=>[KNN 10 @embedding $query_vec AS score]" SORTBY score RETURN 3 $.name AS name $.price AS price DIALECT 2 ``` 这里的 `$query_vec` 是查询向量参数。最后按 score 排序,取 top10。返回结果里可能没有“轻量背包”这个词,但语义上相关,比如“超轻徒步背包”“大容量旅行背包”。 代码包装:在 repository 里写一个 SearchPort,内部持有 RedisConnection,对外暴露 findById、searchByKeyword、searchBySemantic 三个方法。避免上层业务去拼 Redis 命令。 ## 06、洞见 这套方案真正值钱的地方,不是把三种查询塞进一个 Redis,而是让实时数据链路变短。过去商品上新后,要异步同步到搜索集群和向量库,秒级到分钟级不一致是常态。Redis 多模型模式,写入后同一份数据近实时可查,对库存、价格、上下架敏感场景很有价值。 但也要冷静看成本。向量索引会显著增加内存占用和写入开销;全文索引有分词和倒排成本;JSON 文档比扁平 String 更易读,但字段多了以后要约束大小。不是所有商品搜索都该上向量。如果用户输入的词法信息已经很强,全文+过滤往往更快、更可解释;语义向量适合长尾表达和模糊意图。实践中先跑通结构化,再叠加向量,不要一上来就追求“智能感”。 另外,嵌入模型的质量和维度直接影响召回效果。384 维轻量模型省内存,但复杂语义可能需要 768 或 1024 维。距离函数选余弦适合文本向量,HNSW 参数要按数据量调。 ## 07、行动 如果你的团队正在用 Spring Boot + Redis,建议按下面顺序推进: 1. 盘点查询:把商品查询分为精确读、条件搜索、语义搜索三类,分别对应 KV、全文+过滤、向量 KNN。 2. 先接 JSON:把商品详情从 String 迁移到 JSON 文档,保持 KV 读不受影响。 3. 新命令下沉:不要用 RedisTemplate 硬套,建立 RedisConnection 或原生客户端封装层,所有 Redis 8 新命令集中在 SearchPort。 4. 先上全文和条件:大部分电商搜索问题靠词法+范围能解决,索引成本可控。 5. 再上向量:当长尾查询多、语义召回不够时,增加 embedding 和 KNN,监控内存、索引构建耗时、查询延迟、召回质量。 测验答案:普通 KV Lookup 解决“知道 ID 的精确读取”;全文 Search 解决“关键词和条件明确的词法检索”;Vector Search 解决“表达模糊但语义相关”的召回。三者不是替代关系,而是同一平台上的三种查询形态。 ## 08、小结 Redis 8 的多模型整合,把 JSON、全文、向量这些能力从模块拼装变为开源内置,对 Spring Boot 来说是一次集成思路的升级:能继续用 RedisTemplate,但新命令要勇于下沉到连接层。我们用一个“长途旅行轻量背包”的语义商品搜索,串起了 JSON 存储、索引创建、KV 精确读、全文过滤和向量 KNN。真正用好它的前提,是理解每种查询解决什么问题,并在合适场景使用。 ## 09、链接与概念说明 概念说明: - Redis JSON:以 JSON 文档存储结构化数据,支持路径读写。 - Redis Search:提供全文、范围、地理、向量检索的查询引擎。 - Vector Set:Redis 8 用于语义检索的向量集合能力。 - Embedding:把文本、图片等转成稠密向量,语义相近的对象在向量空间更接近。 - HNSW:一种近似最近邻索引,以少量召回损失换取查询速度。 - KNN:近邻查询,返回与查询向量最相似的 top N。 - RedisConnection:Spring Data Redis 提供较低层连接抽象,可执行原生 Redis 命令。 参考链接:Redis 官方文档、Redis Search 文档、Spring Data Redis Reference。

优秀的个人博客,低调大师

| 11月14号栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.阿里文娱首次公开!AI 如何对爆款内容未卜先知? 文娱内容很难有完整的量化指标体系,内容的复杂性决定了文娱产品的不确定性。我们如何利用AI+大数据能力,建造文娱的内容认知大脑?串联内容全生命周期,实现对内容、流量、宣推等的“未卜先知”,提升对爆款的预测和生产能力?这本《5G+AI 阿里文娱技术实践》会告诉你。阅读更多》》 2.Sentinel 1.7.0 发布,支持 Envoy 集群流量控制 流控降级中间件 Sentinel 1.7.0 版本正式发布,引入了 Envoy 集群流量控制支持、properties 文件配置、Consul/Etcd/Spring Cloud Config 动态数据源适配等多项新特性与改进。详细特性列表请参考 Release Notes,欢迎大家使用并提出建议。下面我们来一起探索一下 Sentinel 1.7.0 的重要特性。阅读更多》》 3.闲鱼推荐,让智能计算从云走向端 一篇干货给好文。值得一读!阅读更多》》 4.神仙在双11晚上,都干了些啥? 11月,阿里巴巴西溪园区夜凉如水,双11作战室内,却有人身着短袖衬衫,只见她屏住呼吸,握紧微微出汗的手心,静静立于数字大屏前,等待今年最重要的一个数据。距离双11结束,还有1分钟。午夜的钟声敲响,最终,双11作战室的数字大屏将数据定格在2684亿。在一片欢呼声中,她激动地回到工位上,打开贴着关二爷神像的电脑,开始奋笔疾稿。这个人就是我——为阿里技术粉丝带来深夜报道的阿里妹。当我敲下发送键,心里依旧不能平息,毕竟我也是参与了千亿项目的人了。突然,一阵倦意袭来,似有狂风在周身涌动不止。等我睁开眼睛,只见面前有一人,他身长九尺,髯长二尺,面若重枣,唇若涂脂,丹凤眼、卧蚕眉,相貌堂堂,威风凛凛。像极了我电脑上的关二爷神像,再看他时,面前突然多了一盏西湖龙井。他说要与我讲讲阿里双11……阅读更多》》 5.系列文章:云原生下日志方案的架构设计 上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。阅读更多》》 视频课程及PPT下载 1.2.2 HBase企业级功能之安全:基于Kerberos的HBase安全实战视频地址:https://yq.aliyun.com/live/971PPT下载:https://yq.aliyun.com/download/3068云栖公开课专题页:https://yq.aliyun.com/activity/831 2.2.3 HBase企业级功能之存储分层:HBase冷热分离视频地址:https://yq.aliyun.com/live/709PPT下载:https://yq.aliyun.com/live/709云栖公开课专题页:https://yq.aliyun.com/activity/831 3.2.4 HBase企业级功能之低延迟:HBase On Persistent Memory视频地址:https://yq.aliyun.com/live/975PPT下载:https://yq.aliyun.com/download/3074云栖公开课专题页:https://yq.aliyun.com/activity/831 4.2.5 HBase企业级功能之迁移:HBase高效一键迁移的设计与实践视频地址:https://yq.aliyun.com/live/730PPT下载:https://yq.aliyun.com/download/3145云栖公开课专题页:https://yq.aliyun.com/activity/831 更多精彩直播 热门话题 1.如果能在1分钟内训练出个AI模型,你想要做什么?(有奖话题) 之前你对智能视觉有了解吗?是通过什么渠道了解到的? 是否在你的业务中使用过类似智能视觉的AI技术?是用在什么场景中? 如果能在1分钟内训练出个AI模型,你想做什么? 点此进入回答赢取礼物 2.又到招聘季!开发者们看过来,2019哪些职位与人才最稀缺?(有奖话题) 发布招聘信息者需阿里内部专家,本平台不接受外部人员发布招聘信息 招募者在发布评论时一定要留有联系方式,防止应聘者有简历也无门可投 应聘者可以在相应招聘信息下回复,询问职位情况 招聘者发布的职位如果已无空缺,请及时标注 应聘者请根据实际情况投递简历 点此进入回答赢取礼物 往期精彩回顾 万级规模 K8s 如何管理?蚂蚁双11核心技术公开 | 11月13号栖夜读 更多干货内容 请关注云栖社区微信公众号!

优秀的个人博客,低调大师

C++ web框架 Paozhu 发布1.17.4版

本次加上了 OAuth2.1 server ,OAuth2.1 client, JWT模块 顺便添加一个gitub授权 client, 这样可以获取github能力了,是不是以后可以让agent提交代码。 大量修复了 ORM 模块 paozhu已经是强大一体化Web开发平台,支持多域名虚拟主机 支持SAAS 支持MQTT WebSocket 等物联网开发。 也可以用来组网上报数据。 本次添加OAuth 补齐企业开发最后一个模块 webpdf模块已经经过bug查找,专攻html转pdf,生成报告和报表得心应手。 pzexcel xlsx读写也经过兼容性打磨。 oauth 代码在项目libs/oauth和 controller/src/oauth 目录,演示数据库conf/cppcms.sql 里面已经自带3张表,如果移植到自己项目可以移植走这三张表和用户表 配置在conf/oauth.conf oauth_client 代码在 libs/oauth_client 和 controller/src/oauth_client 目录,里面有演示例子 gitub oauth演示例子在 libs/github 和 controller/src/github 目录,演示获取授权页面 配置在conf/github.conf 到https://github.com/settings/developers申请自己那台 App 的 client_id / client_secret 官方地址 https://github.com/hggq/paozhu

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码