搜索引擎中的粒度问题
一.前言 传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。这里的“所求”，比“文档”更加宽泛和丰富，比如一个关于天气的查询，直接返回一个天气预报的窗口，而非一篇关于天气的文档；再如一个关于小游戏的查询，直接返回这个小游戏的Flash页面而非简单的介绍性的文字。 百度对Query深刻的理解，源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言，文本切分是最基础也是最重要的自然语言问题之一。今天，我们就来谈谈文本切分粒度与搜索引擎的关系。 本文后续章节组织如下：第二节介绍什么是文本的粒度，第三节讲述搜索引擎的基本原理与文本切分粒度的关系，第四节深入探讨粒度的属性与检索相关性计算，第五节小结。 二.文本粒度 什么是文本的粒度？我们用什么来衡量文本粒度？在回答这些问题前，让我们先看看以下几组词汇： 缠绵、崎岖、葡萄、乒乓 绿茶、篮球、红色、鼠标垫、起重机 打球、跳绳、炒菜、登山 笔记本电脑、高清机顶盒、IP电视 但是、然后、如果、非常 步步惊心、家的n次...
