NLPIR深度机器学习的文本分类
近年来,随着Intemet的迅猛发展,网络信息和数据信息不断扩张,如何有效利用这一丰富的数据信息,已成为广大信息技术工作者所关注的焦点之一。为了快速、准确的从大量的数据信息中找出用户所需要的信息,文本信息的自动分析也成为了当前的迫切需要。对文本信息的分析中的一个主要技术就是文本分类。文本分类问题是自然语言处理的一个基本问题,很多相关的研究都可以归结为分类问题。文本分类是将文本按一定的规则归于一个或多个类别中的技术。近年来,许多统计的方法和机器学习的方法都应用到文本分类方面。文本分类是指在给定的分类体系下,根据文语义元是统计语义方法中的原子,是不可分本的内容自动确定文本类别的过程.当前的文本割的最小单位,在文本分类中语义元是词;文本分类一般包括了文本的表达、 分类器的选择与训练、 分类结果的评价与反馈等过程,其中文本的表达又可细分为文本预处理、索引和统计、特征抽取等步骤。文本分类系统的总体功能模块为:(1) 预处理:将原始语料格式化为同一格式,便于后续的统一处理;(2) 索引:将文档分解为基本处理单元,同时降低后续处理的开销;(3) 统计:词频统计,项(单词、概念)与分类的相关概率;(4...
