2、web爬虫，scrapy模块以及相关依赖模块安装-低调大师

2、web爬虫，scrapy模块以及相关依赖模块安装

2019-06-10 545

当前环境python3.5 ，windows10系统

Linux系统安装

在线安装，会自动安装scrapy模块以及相关依赖模块

pip install Scrapy

手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz （XML处理库）

2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）

3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）

5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）

6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）

7、cryptography-2.0.tar.gz （密码学是一种包）

8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）

10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）

12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

windows系统安装

windows安装，首先要安装pywin32，根据自己的系统来安装32位还是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

在线安装

pip install scrapy

手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz （XML处理库）

2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）

3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）

5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）

6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）

7、cryptography-2.0.tar.gz （密码学是一种包）

8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）

10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）

12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

测试是否安装成功

在cmd终端，运行python

然后运行：import scrapy ，没有提示错误说明安装成功

【转载自：https://www.jianshu.com/u/3fe4aab60ac4】

微信关注我们

原文链接：https://yq.aliyun.com/articles/705054

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1、web爬虫，requests请求

【转载自：https://www.jianshu.com/u/3fe4aab60ac4】requests请求，就是用python的requests模块模拟浏览器请求，返回html源码模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求一、不需要用户登录或者验证的请求这种比较简单，直接利用requests模块发一个请求即可拿到html源码 #!/usr/bin/envpython #-*-coding:utf8-*- importrequests#导入模拟浏览器请求模块 http=requests.get(url="http://www.iqiyi.com/")#发送http请求 http.encoding="utf-8"#http请求编码 neir=http.text#获取http字符串代码 print(neir) 得到html源码 <!DOCTYPEhtml> <html> <head> <title>抽屉新热榜-聚合每日热门、搞笑、有趣资讯</title> <metacha...

2019-06-11

565

建造者模式（Builder）用以自由构建对象，主要功能就是代替对象的构造函数，更加自由化。案例： /** * @author Gjing **/ class Custom { private Integer age; private String name; private String address; static Custom.Builder builder(){ return new Custom.Builder(); } private Custom(Builder builder) { this.age = builder.age; this.name = builder.name; this.addr

2019-06-11

655

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。