sklearn.datasets.fetch_20newsgroups-低调大师

sklearn.datasets.fetch_20newsgroups

2018-01-29 621

 
 sklearn.datasets.
 fetch_20newsgroups
 (data_home=None, subset='train', categories=None, shuffle=True, random_state=42, remove=(), download_if_missing=True) 

 fetch_20newsgroups的作用是加载文件名，加载20个新闻群组数据集中的数据

 参数：data_home：可选参数，默认值为：None

 指定一个电脑中的路径来存储加载的数据。如果选择默认，那所有的scikit-learn数据都存储在'~/scikit_learn_data'这个子文件夹中 

       subset:'train'或者'test','all'，可选参数

 选择加载得到的数据集用来做训练还是做测试，或者是两者都选择，可以随用户需要来选择

       categories:空集，或者是字符串集合，或者是unicode码

  是指类别，如果指定类别，就会只提取出目标类，如果是默认，则是提取所有类别出来。

       shuffle:bool布尔类型，可选参数

 是否需要打乱数据：这一参数对于一些需要让假设样本数据具有独立同分布的模型来说至关重要，如随机梯度下降

       random_state:numpy随机数产生器，或者是种子整数

 主要是用来清洗数据

       remove:元组

 包含头文件（‘headers’,‘footers’,'‘quotes’）的所有子集。都是从新闻群组帖子中被检测或者是移除的各种各样的文本，防止分类器在利用复杂数据特征属性进行分类过程中过拟合

 'headers'去除新闻的头部数据， 'footers'去除新闻位置最后类似于签名区域的一整块区域，'quotes'移除引用其他新闻帖子的行

 'headers'遵从一个精确的标准；其他的过滤器不一定一直正确

       download_if_missing：可选参数，默认值是：真(True)

 如果是Flase, 数据不是本地可获取的就会引起一个IOError，而不是尝试着从资源网站下载。

微信关注我们

原文链接：https://yq.aliyun.com/articles/414607

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

pickle.loads和pickle.dumps

在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict： d = dict(name='Bob', age= 20 , score= 88 ) 可以随时修改变量，比如把 name 改成 'Bill' ，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的 'Bill' 存储到磁盘上，下次重新运行程序，变量又被初始化为 'Bob' 。我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。 Python提供了 pickle 模块来实现序列化。首先，我们尝试把一个对象序列化并写入文件： >>> import pickle >>> d = dict(name= 'Bob' , age= 20 , score= 8...

2018-01-30

649

sklearn.feature_extraction.DictVectorizer将字典格式的数据转换为特征

class sklearn.feature_extraction. DictVectorizer ( dtype=<class ‘numpy.float64’> , separator=’=’ , sparse=True , sort=True ) Transforms lists of feature-value mappings to vectors. This transformer turns lists of mappings (dict-like objects ) of feature names to feature values into Numpy arrays or scipy. sparse matrices（稀疏矩阵） for use with scikit-learn estimators. When feature values are strings, this transformer will do a binary one-hot (aka one-of-K) coding: one boolean-valued feature is c...

2018-01-30

697

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。