首页 文章 精选 留言 我的

精选列表

搜索[c 20],共10000篇文章
优秀的个人博客,低调大师

《Spring Mongo实战》第20招 敏感字段怎么加密

## 01、痛点 凌晨两点,我被值班电话叫醒。安全团队说,生产环境 MongoDB 备份文件疑似被误下载,里面客户手机号、身份证号全是明文。我是老李,负责用户中心一条业务线,这一下直接清醒。 其实这不是第一次。客户表几百万条记录,字段包括姓名、手机号、身份证号、地址。刚开始图快,存的就是明文。后来监管要求做敏感数据保护,开发同事第一反应是上 Base64,或者写一个 AES 工具类,把手机号加密后存进去。问题是等值查询就成了灾难:想根据手机号查用户,必须把海量密文拉到应用内存里,一条条解密再比较,慢不说,明文还会在应用侧待很久。数据库的过滤、索引全用不上。 更要命的是,Base64 只是编码,根本防不了查看;普通 AES 工具类也缺乏统一治理,密钥散落、日志脱敏缺失、权限边界模糊,审计一旦细问就露馅。 为什么现在要讲?因为 Spring Data MongoDB 对客户端字段级加密和可查询加密已经有原生支持,很多团队却还在用工具类补丁的思路。早点把链路理清,比出了事故再补救强得多。 ## 02、是什么 这里说的不是磁盘加密,也不是 TLS 传输加密,而是数据库字段级加密。Spring Data MongoDB 支持两类能力:客户端字段级加密和可查询加密。 客户端字段级加密,英文简称 CSFLE。它把加密动作放在 MongoDB 官方驱动里完成。应用写入字段时,驱动会在客户端先用数据加密密钥加密,再把密文发给 MongoDB。数据库服务器只负责存储,不拥有明文,也不掌握解密密钥。读取时,驱动拿到密文自动解开,返回给应用。 可查询加密,是在密文场景下让数据库仍然能执行部分查询能力。最常用的就是等值查询。比如手机号加密后,仍能执行手机号等于某个值的过滤,因为驱动会把查询条件也加密,数据库拿密文条件去匹配密文索引,不需要知道明文。 这套机制依赖两层密钥。主密钥 CMK 保管在 KMS 里,比如云厂商的密钥管理服务或本地 KMIP。数据加密密钥 DEK 才是真正加密字段数据的密钥,DEK 用 CMK 加密后,存在 MongoDB 的 key vault collection 中。每个加密字段的密文里会带上 DEK 标识和算法信息,读出时驱动知道找哪把 DEK 解密。 所以它和 Base64、普通 AES 工具类的最大区别不在算法,而在边界:加密在驱动层统一发生,密钥走 KMS 分层管理,数据库端不碰明文。 ## 03、为什么 有人问:我自己写个 AES 工具类,把手机号加密后存库,不也是加密吗? 账不能这么算。Base64 不用说了,它只是把二进制映射成可打印字符,任何人拿到都能还原,本质不是加密。普通 AES 工具类只是单点加密,离治理还差得远。 第一,密钥管理失控。AES 密钥经常写在配置文件、环境变量甚至代码库里,一旦泄露,历史数据全部失效。没有 KMS 托管,没有主密钥与数据密钥分层,也很难做合规轮换。 第二,加密位置不固定。有的在服务层加密,有的在控制器层,有的甚至只在导出报表时临时改一下,策略不统一,遗漏是常态。 第三,明文暴露面大。为了等值查询,很多方案会把密文拉到应用内存,解密后逐条比较。这样明文在应用进程里长时间存在,日志、异常、调试信息、对象序列化都可能带出。 第四,数据库过滤能力废掉。密文无法直接建有用索引,应用侧过滤百万级数据,性能和流量都会打穿。 第五,审计链不完整。谁加密、谁解密、密钥何时被访问,这些治理信息在工具类方案里基本空白。 客户端字段级加密把加密动作下沉到驱动,应用代码不需要手写每一处加解密。密钥通过 KMS 管理,DEK 与数据分离。等值查询可以由驱动加密查询条件,MongoDB 继续用密文索引过滤。这样数据库侧不可见明文,应用层也能减少很大一块明文驻留。注意,它并没有消灭应用拿明文,因为展示层最终还要明文;它消灭的是数据库侧和备份侧的大面积明文暴露,同时把密钥边界拉清楚。 ## 04、架构 数据链路可以画成:Application → Encryption → Driver → MongoDB。 写入方向是这样的。应用构造 Customer 对象,Spring Data 在映射阶段识别哪些字段被标注为敏感。然后对象交给 MongoDB 驱动,驱动检查自动加密设置,对 phone、idCard 这类字段调用加密组件。加密组件从 key vault collection 中取出 DEK,必要时向 KMS 请求解开 DEK,用确定性算法加密字段值。加密后的 BSON 发往 MongoDB,落库后就是密文。 读取方向相反。应用发起等值查询,比如 phone 等于某个手机号。驱动先把这个查询条件中的 phone 值用同样的确定性算法加密,生成密文条件下推到 MongoDB。MongoDB 在加密字段对应索引上匹配,返回命中的密文文档。驱动在应用侧解开命中文档,Spring Data 再映射回 Customer 对象。 密钥链路则独立于业务数据链路。CMK 在 KMS 里,不进入 MongoDB。DEK 由 CMK 加密后存在 key vault collection。字段密文只记录 DEK 的 UUID 和算法,不携带 CMK。这样即使数据库被拖库,攻击者拿到密文和加密后的 DEK,但没有 KMS 权限,仍然解不开 DEK,也就解不开字段。 这里有一个关键选择:算法。随机加密每次对同一个值产生不同密文,隐私强度更高,但无法用于等值查询。确定性加密每次对同一个值产生相同密文,因此可以建密文索引、支持等值匹配,但代价是相同明文呈现相同密文,可能受到频率分析。手机号、身份证号通常需要等值查询,所以实战中用确定性加密;不需要查询的字段优先用随机加密。 可查询加密的边界也要清楚。它不是为了所有 SQL 能力而设计,等值查询是核心场景,范围查询、排序、聚合在不同版本和配置下支持有限。使用前要查阅官方支持矩阵,不要假设加密字段能像明文一样任意查询。 ## 05、实战 拿一个 Customer 集合做试点。字段包括 name、phone、idCard、address。目标是对 phone 和 idCard 做客户端字段级加密,并且 phone 要支持等值查询。 第一步,准备 KMS。本地开发可以先用本地方式,生成一个 96 字节的 base64 主密钥。生产环境换成 AWS KMS、Azure Key Vault 或 GCP KMS,权限独立到应用服务器角色。 第二步,创建 key vault collection。使用 encryption 库下的 __keyVault 集合,并建立 keyAltNames 唯一索引,避免重复 DEK。 第三步,配置驱动。YAML 示意如下: ```yaml key-vault-namespace: encryption.__keyVault kms-providers: local: key: 96字节base64主密钥 ``` 实际 Spring Boot 项目里需要把这个配置注入 MongoClient。关键点是开启自动加密,并指定 key vault namespace 和 KMS provider。 第四步,在 Customer 的 phone、idCard 字段标注确定加密。name 等非敏感字段保持明文。比如 phone 使用 AEAD_AES_256_CBC_HMAC_SHA_512-Deterministic,idCard 同样使用确定性算法,保证等值匹配。 第五步,插入一条客户。插入后不要只看应用日志,直接到 MongoDB 里查原始集合。用 mongo shell 看,phone 和 idCard 是 BinData 密文,而不是可读手机号。这说明数据库侧不可见明文。 第六步,执行等值查询。使用 Spring Data MongoDB 的查询条件,比如按 phone 查找。驱动会先把条件加密,再下推给 MongoDB,MongoDB 用密文索引命中,返回后驱动自动解密。应用层拿到的是可读 Customer 对象。整体查询性能和普通索引查询接近,只多了一次客户端加密和解密。 对比一下错误方案。如果只是把手机号 Base64 存库,mongo shell 里依然能看到可逆内容,安全审计不认。如果自己用 AES 工具类加密后存库,等值查询得把全表拉到应用内存解密,而驱动方案把过滤下推到数据库,只返回一条命中记录。差异在量级上会被放大。 还要提醒一个测试方法:把 phone 字段临时改成随机加密,再用相同条件查询,会发现查不到,因为同一明文生成不同密文。这个反例能帮助团队理解确定性加密和随机加密的区别。 ## 06、洞见 数据安全不只是磁盘是否加密。磁盘加密解决静态介质丢失,TLS 解决链路窃听,但它们都不解决 MongoDB 数据库账号、DBA、备份管理员、云平台运维能不能看到明文。真正要治理的,是明文在系统里出现的环节和时间。 普通 AES 工具类的问题,本质是把安全边界留在了应用代码里,看似加密了,实则在应用内存、日志、传输前后都有大量明文窗口。客户端字段级加密把边界前移到驱动,至少让数据库和备份侧大面积不可见。因此,评估一个加密方案,不能只看有没有密文,还要看明文在哪里出现、谁能看到、能看多久、能不能审计。 权限边界同样重要。CMK 归 KMS 管,DEK 归 key vault collection 管,业务数据归业务集合管。数据库运维有业务库权限,但没有 KMS 权限,无法解出 DEK。应用服务器有 KMS 权限,但不应有生产库运维权限。这样即使某一侧泄露,也不能单独拿到明文。 可查询加密是有代价的。确定性加密牺牲了部分语义安全,换来等值查询。对手机号这种低基数数据,密文相同意味着可能被频度分析。所以在敏感度极高且不需要等值查询的场景,优先随机加密;必须等值查询的,要接受这个风险并配合访问审计。 ## 07、行动 建议按下面顺序推进。 第一步,画链路。把你们系统从应用对象到 MongoDB 的真实数据流画出来,重点标出明文存在的位置。线路可以写成:Customer 对象 → Spring Data 映射 → 敏感字段加密 → MongoDB 驱动 → 密文写库;读取则是查询条件 → 驱动加密查询 → MongoDB 密文匹配 → 返回密文 → 驱动解密 → Customer 明文对象。 第二步,盘点字段。把敏感字段分成三类:需要等值查询、需要范围查询、完全不需要查询。phone 和 idCard 通常需要等值查询,用确定性加密;地址、备注等如果只需展示,用随机加密。 第三步,选择 KMS。生产不要用本地 key,优先使用云 KMS,独立配置应用服务器权限,开启密钥轮换。准备 DEK 的备份和恢复方案,防止 key vault collection 丢失导致数据不可读。 第四步,小表试点。找一个非核心集合,开启自动加密,观察写入延迟、查询延迟、索引大小变化。重点测试等值查询、批量导入、备份恢复。 第五步,验证安全边界。直接连接生产库查看敏感列是否为密文;查看应用日志是否有明文;确认 DBA 账号无法解开数据。不要让开发用自己的超级账号随便看库。 第六步,写清楚应急预案。包括 KMS 权限故障、驱动版本升级、DEK 轮换、数据恢复后的解密流程。 行动目标不是加一个工具类,而是把加密能力做成基础设施,边界清晰、可审计、可轮换。 ## 08、小结 Spring Data MongoDB 的客户端字段级加密,解决的是数据库侧明文存储和等值查询之间的矛盾。它把加密动作放在驱动层,密钥由 KMS 托管,支持对手机号、身份证等字段做确定加密后的等值匹配。Base64 和普通 AES 工具类不是治理,因为它们没有密钥体系、没有统一边界、也没有查询能力。 落地时先画清 Application → Encryption → Driver → MongoDB 链路,再决定哪些字段用确定性加密、哪些用随机加密。安全治理没有一招鲜,但字段级加密可以把数据库侧的暴露面缩小一大截。 ## 09、链接与概念说明 概念说明: - CSFLE:客户端字段级加密,MongoDB 驱动在客户端完成字段加解密,数据库只存密文。 - Queryable Encryption:可查询加密,在密文上支持等值查询等有限查询能力。 - DEK:数据加密密钥,真正加密字段数据的密钥。 - CMK:主密钥,用于加密 DEK,通常托管在 KMS。 - KMS:密钥管理服务,如 AWS KMS、Azure Key Vault、GCP KMS。 - Deterministic Encryption:确定性加密,相同明文生成相同密文,支持等值查询,但有频度分析风险。 - Random Encryption:随机加密,相同明文生成不同密文,隐私强,不支持等值查询。 参考可以查阅 MongoDB 官方文档中的 Client-Side Field Level Encryption、Queryable Encryption,以及 Spring Data MongoDB 文档中的 Client-Side Encryption 章节。官方文档会给出稳定的配置参数、版本兼容和算法说明。遇到具体版本差异,以官方支持矩阵为准。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码