Windows下安装配置爬虫工具Scrapy及爬虫环境-低调大师

Windows下安装配置爬虫工具Scrapy及爬虫环境

2018-09-18 585

爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

下载安装Scrapy

Scrapy官方文档

按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
下载地址
安装完成后，python2.7也会自动安装好，然后执行以下命令安装Scrapy.

conda install -c conda-forge scrapy

安装mysql驱动

下载并安装mysql官方的驱动程序。下载地址
下载mysql的python驱动程序,可以把两个都装上，使用的时候再决定用哪个。

MySQL官方的纯Python驱动

pip install mysql-connector-python

封装了MySQL C驱动的Python驱动
1. 安装Python版C++编译程序。下载地址
2. 拷贝mysql驱动(32位不需要这一步)，将"C:\Program Files\MySQL" 拷贝到 “C:\Program Files (x86)\MySQL”。
  目的是为了防止下一步的错误"Cannot open include file: ‘config-win.h’: No such file or directory"
3. 安装驱动
```
pip install MySQL-python
```
4. 安装数据库连接池工具
```
pip install DBUtils
```

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

pip install beautifulsoup4

安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

pip install pyquery

微信关注我们

原文链接：https://yq.aliyun.com/articles/654587

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

适配器在JavaScript中的体现

适配器设计模式在JavaScript中非常有用，在处理跨浏览器兼容问题、整合多个第三方SDK的调用，都可以看到它的身影。其实在日常开发中，很多时候会不经意间写出符合某种设计模式的代码，毕竟设计模式就是老前辈们总结提炼出来的一些能够帮助提升开发效率的一些模版，源于日常的开发中。而适配器其实在JavaScript中应该是比较常见的一种了。在维基百科中，关于适配器模式的定义为：在软件工程中，适配器模式是一种软件设计模式，允许从另一个接口使用现有类的接口。它通常用于使现有的类与其他类一起工作，而无需修改其源代码。生活中的例子在生活中最常见的就是电源插头的适配器了，世界各国的插座标准各不相同，如果需要根据各国的标准购买对应的电源插头那未免太过于浪费钱财，如果说自己带着插座，把人家墙敲碎，重新接线，也肯定是不现实的。所以就会有插头的适配器，用来将某种插头转换成另一种插头，在插座和你的电源之间做中转的这个东西，就是适配器。在代码中的体现而转向到编程中，我个人是这样理解的：将那些你不愿意看见的脏代码藏起来，你就可以说这是一个适配器接入多个第三方SDK 举个日常开发中的例子，我们在...

2018-09-19

603

使用Python的requests库时，默认是没有失败时重试请求的，通过下面的方式可以支持重试请求设置请求时的重试规则 import requests from requests.adapters import HTTPAdapter s = requests.Session() a = HTTPAdapter(max_retries=3) b = HTTPAdapter(max_retries=3) #将重试规则挂载到http和https请求 s.mount('http://', a) s.mount('https://', b) 请求Url 上面设置完毕后，通过改Session的请求就可以支持失败重试 r = s.get('http://api.map.baidu.com/geocoder?location=39.90733345,116.391244079988&output=json') # 返回的状态码 r.status_code # 响应内容，中文为utf8编码 r.content # 响应的字符串形式，中文为unicode编码 r.text # 响应头中的编码 ...

2018-09-19

810

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。