首页 文章 精选 留言 我的

精选列表

搜索[文本工具]，共10000篇文章
优秀的个人博客,低调大师

【干货】用朴素贝叶斯进行文本分类

1.引言 贝叶斯方法是一个历史悠久，有着坚实的理论基础的方法，同时处理很多问题时直接而又高效，很多高级自然语言处理模型也可以从它演化而来。因此，学习贝叶斯方法，是研究自然语言处理问题的一个非常好的切入口。 2. 贝叶斯公式 贝叶斯公式就一行： 而它其实是由以下的联合概率公式推导出来： P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y) 其中P(Y)叫做先验概率，P(Y|X)叫做后验概率，P(Y,X)叫做联合概率。 额，恩，没了，贝叶斯最核心的公式就这么些。 3. 用机器学习的视角理解贝叶斯公式 在机器学习的视角下，我们把X理解成“具有某特征”，把Y理解成“类别标签”(一般机器学习问题中都是X=>特征,Y=>结果对吧)。在最简单的二分类问题(是与否判定)下，我们将Y理解成“属于某类”的标签。于是贝叶斯公式就变形成了下面的样子: 我们
2017-05-01
优秀的个人博客,低调大师

Spark机器学习8· 文本处理(spark-shell)

Spark机器学习 自然语言处理（NLP，Natural Language Processing） 提取特征 建模 机器学习 TF-IDF（词频 term frequency–逆向文件频率 inverse document frequency） 短语加权：根据词频，为单词赋予权值 特征哈希：使用哈希方程对特征赋予向量下标 0 运行环境 tar xfvz 20news-bydate.tar.gz export SPARK_HOME=/Users/erichan/Garden/spark-1.5.1-bin-hadoop2.6 cd $SPARK_HOME bin/spark-shell --name my_mlib --packages org.jblas:jblas:1.2.4-SNAPSHOT --driver-memory 4G --exec
2016-12-20
优秀的个人博客,低调大师

文本切分（Chunking）策略：长度、重叠与语义切分的工程对比

直接答案：RAG 系统检索质量的上限，很大程度由文档切分决定。切得太碎会丢失上下文，切得太大又引入噪声。下面从切分粒度、重叠策略、语义切分、与检索的联动、效果评估五个维度做工程对比。 一、为什么切分重要 检索阶段召回的是"块"而非整篇文档，块的质量直接决定大模型能否拿到完整上下文。块太小：一个完整知识点被劈成两半，召回只能拿到半截，生成答案断片。块太大：单块塞进多个不相关知识点，噪声拉低相关性，还浪费上下文 token。切分是 RAG 工程里投入产出比最高的调优点之一，优先于换更贵的模型。 二、固定长度切分 最常见做法：按 token 或字符数固定切块，块大小常取 200–500 字（中文约 200–400 token），块间重叠（overlap）取块长的 10–20%（如 50 token），避免句子在边界被切断丢失语义。优点是实现简单、可控；缺点是可能在句子或段落中间切断，破坏语义完整。适合结构均匀、段落短的文档，如规范手册。 三、递归字符切分 按分隔符优先级递归切：先按双换行分段，再按单换行，再按句号，最后按空格或字符。尽可能在天然边界（段落、句子）处断开，比纯固定长度更保语义。LangChain 的 RecursiveCharacterTextSplitter 即此类，默认分隔符为 ["\n\n", "\n", ". ", ""]，并可指定块大小与重叠。是多数场景的默认选择。 四、语义切分 用 embedding 模型计算相邻句子的语义距离，在距离突变处切分，使每块内部语义高度一致。步骤：句向量化 → 算相邻句余弦距离 → 距离超阈值处断开。优点：块内聚性好，召回精度高；缺点：依赖模型质量、计算开销大、阈值难调（常用动态阈值或百分位法）。适合对召回精度要求高的场景，如法律、医疗问答。 五、重叠策略 overlap 不是可有可无。它保证一个完整句子或知识点即使跨边界，也能在相邻块里完整出现一次，避免"半截知识"。经验值：块 200–500 字时 overlap 取 10–20%；块越大占比可略降。overlap 过大会引入重复噪声、增加存储与检索成本，需权衡，并非越大越好。 六、与检索的联动 块大小要和检索 top-k 配合：块小则 top-k 取大（如 10–15）保证覆盖；块大则 top-k 取小（如 3–5）避免噪声。重排阶段再精筛。块大小也受上下文窗口约束：单块加提示词须能塞进模型上下文，否则截断反而丢信息。 七、效果评估 用 Recall@k 衡量：改造切分后，前 k 个召回块含正确答案的比例是否上升；用 Faithfulness 看是否因断片导致幻觉。可借助 RAGAS、TruLens 定量对比不同切分策略。没有万能块大小，按文档类型（技术手册、法律条文、口语 transcript）实测定，建议做消融实验再上线。 小结：切分没有银弹。均匀文档用固定或递归切分，精度敏感用语义切分；重叠必带且占比适中；块大小与 top-k、上下文窗口联动调。先用 Recall@k 测起来，再迭代优化。
2026-08-21

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-10-18 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册