Windows下安装配置爬虫工具Scrapy及爬虫环境-低调大师

Windows下安装配置爬虫工具Scrapy及爬虫环境

2018-09-18 567

爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

下载安装Scrapy

Scrapy官方文档

按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
下载地址
安装完成后，python2.7也会自动安装好，然后执行以下命令安装Scrapy.

conda install -c conda-forge scrapy

安装mysql驱动

下载并安装mysql官方的驱动程序。下载地址
下载mysql的python驱动程序,可以把两个都装上，使用的时候再决定用哪个。

MySQL官方的纯Python驱动

pip install mysql-connector-python

封装了MySQL C驱动的Python驱动
1. 安装Python版C++编译程序。下载地址
2. 拷贝mysql驱动(32位不需要这一步)，将"C:\Program Files\MySQL" 拷贝到 “C:\Program Files (x86)\MySQL”。
  目的是为了防止下一步的错误"Cannot open include file: ‘config-win.h’: No such file or directory"
3. 安装驱动
```
pip install MySQL-python
```
4. 安装数据库连接池工具
```
pip install DBUtils
```

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

pip install beautifulsoup4

安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

pip install pyquery

微信关注我们

原文链接：https://yq.aliyun.com/articles/654587

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

适配器在JavaScript中的体现

适配器设计模式在JavaScript中非常有用，在处理跨浏览器兼容问题、整合多个第三方SDK的调用，都可以看到它的身影。其实在日常开发中，很多时候会不经意间写出符合某种设计模式的代码，毕竟设计模式就是老前辈们总结提炼出来的一些能够帮助提升开发效率的一些模版，源于日常的开发中。而适配器其实在JavaScript中应该是比较常见的一种了。在维基百科中，关于适配器模式的定义为：在软件工程中，适配器模式是一种软件设计模式，允许从另一个接口使用现有类的接口。它通常用于使现有的类与其他类一起工作，而无需修改其源代码。生活中的例子在生活中最常见的就是电源插头的适配器了，世界各国的插座标准各不相同，如果需要根据各国的标准购买对应的电源插头那未免太过于浪费钱财，如果说自己带着插座，把人家墙敲碎，重新接线，也肯定是不现实的。所以就会有插头的适配器，用来将某种插头转换成另一种插头，在插座和你的电源之间做中转的这个东西，就是适配器。在代码中的体现而转向到编程中，我个人是这样理解的：将那些你不愿意看见的脏代码藏起来，你就可以说这是一个适配器接入多个第三方SDK 举个日常开发中的例子，我们在...

2018-09-19

586

使用Python的requests库时，默认是没有失败时重试请求的，通过下面的方式可以支持重试请求设置请求时的重试规则 import requests from requests.adapters import HTTPAdapter s = requests.Session() a = HTTPAdapter(max_retries=3) b = HTTPAdapter(max_retries=3) #将重试规则挂载到http和https请求 s.mount('http://', a) s.mount('https://', b) 请求Url 上面设置完毕后，通过改Session的请求就可以支持失败重试 r = s.get('http://api.map.baidu.com/geocoder?location=39.90733345,116.391244079988&output=json') # 返回的状态码 r.status_code # 响应内容，中文为utf8编码 r.content # 响应的字符串形式，中文为unicode编码 r.text # 响应头中的编码 ...

2018-09-19

789

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。