关于Scrapy爬虫项目运行和调试的小技巧（下篇）

前几天给大家分享了关于Scrapy爬虫项目运行和调试的小技巧上篇，没来得及上车的小伙伴可以戳超链接看一下。今天小编继续沿着上篇的思路往下延伸，给大家分享更为实用的Scrapy项目调试技巧。

三、设置网站robots.txt规则为False

一般的，我们在运用Scrapy框架抓取数据之前，需要提前到settings.py文件中，将“ROBOTSTXT_OBEY = True”改为ROBOTSTXT_OBEY = False。

在未改动之后settings.py文件中默认爬虫是遵守网站的robots.txt规则的，如下图所示。

如果遵守robots.txt规则的话，那么爬取的结果会自动过滤掉很多我们想要的目标信息，因此有必要将该参数设置为False，如下图所示。

设置好robots.txt规则之后，我们便可以抓到更多网页的信息。

四、利用Scra