您现在的位置是:首页 > 文章详情

Python爬虫入门教程 30-100 高考派大学数据抓取 scrapy

日期:2019-05-13点击:487

1. 高考派大学数据----写在前面

终于写到了scrapy爬虫框架了,这个框架可以说是python爬虫框架里面出镜率最高的一个了,我们接下来重点研究一下它的使用规则。

安装过程自己百度一下,就能找到3种以上的安装手法,哪一个都可以安装上
可以参考 https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html 官方说明进行安装。

2. 高考派大学数据----创建scrapy项目

通用使用下面的命令,创建即可

scrapy startproject mySpider

完成之后,你的项目的目录结构为

image

每个文件对应的意思为

  • scrapy.cfg 项目的配置文件
  • mySpider/ 根目录
  • mySpider/items.py 项目的目标文件,规范数据格式,用来定义解析对象对应的属性或字
原文链接:https://yq.aliyun.com/articles/702342
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章