编者按： 我们今天为大家带来的文章，作者的观点是：分块（chunking）才是决定 RAG 系统成败的真正关键因素，不同场景需要匹配相应的分块策略。

本文系统梳理了从基础到进阶的 21 种分块策略，涵盖了基础分块法、定长分块法、滑动窗口分块等传统方法，以及语义分块、上下文增强分块、多模态分块等前沿技术。

作者 | Anjolaoluwa Ajayi

编译 | 岳扬

检索增强生成（RAG）是许多 AI 工程师又爱又恨的技术（包括我）。

没错，因为从理论上看，它简单极了："从你的定制数据中检索正确的上下文，然后让大语言模型基于此生成回答"。

但在实践中，你不得不面对海量杂乱无章的数据 ------ 这些数据以你见过的最混乱随机的格式存储，接着就是数日绞尽脑汁的试错：

• 调整文本块（tweaking chunks）
• 切换嵌入模型（switching embedding models）
• 替换检索器（swapping out retrievers）
• 微调排序器（fine-tuning rankers）
• 重写提示词（rewriting prompts）

而模型依然回复："我找不到足够的信息来回答你的问题"。

更糟糕的是，它还会一本正经地输出完全错误的答案（产生幻觉）。

毋庸置疑，RAG 系统中存在许多复杂的组件，但真正默默决定整个系统是否能正常运行的关键因素其实是分块（chunking）。

不同的数据类型、文件格式、内容结构、文档长度和使用场景，都需要匹配不同的分块策略。

一旦出错，你的模型要么抓不住重点，要么... 好吧，还是抓不住重点。

本文将解析 21 种分块策略（从基础到进阶），并说明何时该用何种策略，让你的 RAG 系统不再...掉链子。

1）基础分块法（按换行符分割）Naive chunking (split by newline)

遇到换行符就分割文本。仅此而已。

基础分块法示例 | 此图片由原文作者制作

适用场景：

• 处理由换行符统一分隔的文本：笔记、项目列表、FAQ、聊天记录或每一行都包含完整语义的文字转录稿。

注意：如果内容行过长，可能超出 LLM 的词元限制。如果内容行过短，模型可能遗漏上下文或产生幻觉。

2）定长分块法 Fixed-size/ fixed window chunking

按固定字符数/单词数切割文本（即便这样会切断完整句子或语义单元）。

定长分块法示例 | 此图片由原文作者制作

适用场景：

• 适用于原始的、杂乱的文本数据，如扫描文档、质量较差的转录文本，或无标点、无标题、无其他结构的大型文本文件。

3）滑动窗口分块法 Sliding window chunking

类似定长分块，但每个文本块会与前块内容重叠，以保持跨块上下文之间的关联。

滑动窗口分块法示例 | 此图片由原文作者制作

适用场景：

• 处理需要保持长句间逻辑连贯性的文本类型：议论文、叙述性报告、自由形式的写作等。
• 与定长分块法类似，适用于无结构的文本（无标题、无标点、无框架等），但需注意词元消耗与上下文连贯性间的平衡。

4）按句分块法 Sentence-based chunking

在句子结尾处分割文本（通常以句号、问号或感叹号为标记）。

按句分块法示例 | 此图片由原文作者制作

适用场景：

• 适用于语义清晰的规整文本，每句话都承载着完整的语义，如技术博客、内容摘要或文档。
• 可作为初级的分块手段产出小而聚焦的文本块，便于后续通过更复杂的分块技术重新组合或重排序这些文本块。

5）按段分块法 Paragraph-based chunking

依据段落分割文本（通常以双换行符为界），使每块均包含完整的语义单元。

按段分块法示例 | 此图片由原文作者制作

适用场景：

• 当按句分块所得内容过于零碎时
• 处理已具备段落结构的文档，如议论文、博客文章或研究报告

6）按页分块法 Page-based chunking

将每个物理页面视为一个独立文本块。

按页分块法示例 | 此图片由原文作者制作

适用场景：

• 处理含固定页面的文档，如扫描版 PDF、演示文稿或书籍。
• 需保留页面布局的检索场景（如在检索时需要引用页码）。

7）按预定结构分块法 Structured chunking

依据预定结构（如具有固定格式的系统日志记录、结构化数据中的预定义字段、HTML 标签或 Markdown 元素）分割文本。

按预定结构分块法示例 | 此图片由原文作者制作

适用场景：

• 处理结构化/半结构化数据，如系统日志、JSON 记录、CSV 文件或 HTML 文档。

8）基于文档层级的分块法 Document-Based Chunking

基于文档固有结构分块（按标题/小标题/章节划分）。

基于文档层级的分块法示例 | 此图片由原文作者制作

适用场景：

• 当源文件具备清晰的章节结构时，如在技术文章、操作手册、教材或学术论文中。
• 可作为进阶分块技术（如按层级分块（hierarchical chunking））的预处理步骤。

9）基于关键词的分块法 Keyword-based chunking

在预设关键词出现处分割文本，将其视为逻辑断点。

基于关键词的分块法示例（关键词为"Note"）| 此图片由原文作者制作

适用场景：

• 文档无标题结构但含标志性的关键词（且这些关键词可稳定标记新主题的起始）时使用

10）基于实体的分块法 Entity-based chunking

使用命名实体识别（NER）模型检测人物、地点、产品等实体，将相关文本围绕每个实体分组形成区块。

基于实体的分块法示例 | 此图片由原文作者制作

适用场景：

• 处理特定类型的实体（人物/地点/组织等）对文档理解起决定性作用的文件，如新闻报道、法律合同、案例研究或电影剧本。

11）基于词元数的分块法 Token-based chunking

通过 tokenizer（分词器）按词元数量分割文本。

建议结合按句分块法（sentence chunking）等技术使用，避免破坏句子完整性导致上下文被破坏。

适用场景：

• 无标题/无段落结构的非结构化文档。
• 使用低词元限制的 LLM 时（避免响应被强制截断或长文本输入被丢弃）。

12）基于主题的分块法 Topic-based chunking

当文本主题发生变化时，可以通过以下方式对文本进行分块：

• 首先，将文本拆分为小单元（句子/段落）
• 然后，使用主题建模或聚类算法将相关单元合并为区块

基于主题的分块法示例（使用聚类算法） | 此图片由原文作者制作

适用场景：

• 当文档涵盖多个主题，且需保持语义焦点时。
• 适用于主题转变较为平缓但未通过明确的标题或关键词标注的文本。

13）表格感知分块法 Table-aware chunking

独立识别表格内容，并按 JSON 或 Markdown 格式分块（可逐行/逐列/整表处理）。

表格感知分块法示例 | 此图片由原文作者制作

适用场景：

• 含表格元素的文档。

14）内容感知分块法 Content-aware chunking

根据内容类型动态调整分块策略（为段落/表格/列表等内容适配不同规则）。

适用场景：

• 混合格式的文档（含多种文本结构）。
• 需保持原生格式完整性的场景（表格不分割/段落不截断等）。

15）上下文增强分块法 Contextual chunking

通过 LLM 实现：

• 分析知识库的部分或全部内容。
• 在嵌入前为每个文本块注入简短且相关的上下文

上下文增强分块法示例 | 此图片由原文作者制作

适用场景：

• 知识库的全部内容或部分内容在 LLM 的词元限额内。
• 处理复杂文档（如财报/合同等）。

16）语义分块法 Semantic chunking

基于嵌入相似度聚合主题相关的句子/段落，保持语义聚焦性。

适用场景：

• 当按段分块法或定长分块法失效时
• 处理含混杂主题的长文档。

17）递归分块法 Recursive chunking

首先使用大粒度的分隔符（如段落）分割文本。

如果任何生成的分块超过预设的分块大小限制，对这些区块递归使用小粒度分隔符（如句子或单词）进行分割，直至所有分块都符合所需大小。

适用场景：

• 处理句子长度不规则或不可预测的文本，如访谈记录、演讲内容、自由形式的写作内容。

18）嵌入优先分块法 Embedding chunking

常规流程是先分块后嵌入，但此方法先将所有句子全部嵌入，再按顺序逐一处理，若相邻句的相似度高于设定阈值则合并为一组，低于阈值则进行拆分。

适用场景：

• 无结构（无句子分隔/标题/章节符/标记等）的文档
• 当基础技术（如滑动窗口分块法）效果不佳时

19）基于大模型/智能体的分块法 Agentic / LLM-based chunking

将分块的决策权完全交由 LLM，由其自主决定文本的分割方式。

适用场景：

• 当内容复杂或结构不明确，需要类似人类的判断力来确定分块边界时

注意：该方法计算成本较高。

20）分层分块法 Hierarchical chunking

将文本按照多个层次（如章节、子章节、段落）进行分块，以便用户能够以不同详细程度检索信息。

适用场景：

• 具备清晰层次结构的文档，如技术文章、手册、教材、研究论文等
• 希望用户在不丢失上下文的情况下，同时探索整体概述和详细信息。

21）多模态分块法 Modality-Aware Chunking

针对不同内容类型（文本、图像、表格）实施差异化的分块策略。

多模态分块法示例 | 此图片由原文作者制作

BONUS：混合分块法 Hybrid chunking

融合多种分块技术、启发式规则、嵌入模型以及 LLM 来提升分块过程的可靠性。

适用场景：

• 单一分块方法效果不足时，需组合方案应对复杂的数据结构。

END

本期互动内容 🍻

❓在处理特定类型文档（如法律合同或学术论文）时，您有哪些独特的分块技巧可以分享？

原文链接：

https://ai.gopubby.com/21-chunking-strategies-for-rag-f28e4382d399