2、web爬虫,scrapy模块以及相关依赖模块安装
当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块 pipinstallScrapy 手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1、lxml-3.8.0.tar.gz (XML处理库) 2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架) 3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架) 4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库) 5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合) 6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库) 7、cryptography-2.0.tar.gz (密码学是一种包) 8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器) 9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块) 10、cffi-1.1...