NLPIR语义分词技术给自然语言处理带来新驱动

随着信息的快速速增长，让搜索引擎成了人们查找信息的首要工具。如今在中文搜索引擎领域，国内搜索引擎已经同国外搜索引擎效果上相差不大了。能形成现在这样的局面，是有一个重要的原因：英文和中文两种语言自身的书写方式不相同，其中在计算机涉及的技术就是中文分词技术。
分词技术发展至今，也已经有十几年的历史。目前在中文分词领域，已经有很多成熟的分词技术。中文是由连续文字组成，缺乏有效的间隔，虽然有句、段分隔，但在进行机器语言学习、文本语义理解分析过程中都需以词组为最小单位的。因此实现中文分词相对英语来讲，更加的复杂、困难。这其中对于计算机涉及的技术就是中文分词技术。
中文分词不仅是各种中文信息处理技术中使用最广泛的手段,也是信息检索和搜索引擎必不可少的基础性工作。现有的中文分词方法有很多,它们以字符串匹配、统计模型、理解、路径以及语义等