Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。
Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。
1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install 库,就可以正常安装了,但是在安装Scrapy的时候,输入pip install scrapy之后往往会碰到下图的问题。
2、这个问题的出现,是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后,就可以顺利安装scrapy了。给大家安利一个福利,介绍给大家一个非常实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,如下图所示。
3、之后在该网站上查找lxml,也可以输入Ctrl+f进行查找,找到之后如下图所示。
4、点击“lxml”,找到lxml安装包,如下图所示。找到对应自己Python版本的lxml安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以找到下图红色框框的安装包,点击即可进行下载。同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。
5、然后去下载的目录,将lxml进行安装即可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。
6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后,再重新输入pip install scrapy即可顺利安装了,不会再报错了,如下图所示。
7、输入pip list可以查看已经安装的scrapy包,如下图所示。
8、之后我们就可以正常使用scrapy了,可以创建scrapy项目等等。
9、还有一些小伙伴遇到的问题是这个:
raise distutils.errors.DistutilsPlatformError(err)
distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)
----------------------------------------
Command "python setup.py egg_info" failed with error code 1
这个是因为本机缺乏visual C++的安装环境,此时只需要进入http://landinghub.visualstudio.com/visual-cpp-build-tools这个网站,下载对应电脑版本的visual C++环境,进行安装之后即可解决问题。
这个安装包比较大,等scrapy安装好之后再删除即可。
10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。
之前的lxml安装包不是直接安装就成功了吗?为何这个安装包会出现这个问题呢?此时,首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上,如果确认没有问题,再继续往下看。
在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,将后缀.whl更改为.zip,将后缀.whl更改为.zip,重要的事情说三遍,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。
之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。
Twisted库安装好之后,再安装其他的库,如Scrapy、Pandas等就如鱼得水了。
这里列出了几个Scrapy安装过程中常见的问题及其解决方法,希望对大家日后安装Scrapy的时候有所帮助,可能每个人的平台和环境都不太一样,肯定会碰到其他的安装问题,欢迎大家一起学习交流~~
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
JAVA学习day05
1、方法就是用来完成解决某件事件或者实现某个功能的办法。 2、方法的定义格式: 修饰符 返回值类型 方法的名字 (参数列表....){ 方法的功能主体 循环,判断,变量,比较,运算 return ; } 修饰符:固定写法 public static 返回值类型: 方法在运算后,结果的数据类型 方法名: 自定义名字,满足标识符规范,方法名字首字母为小写,后面每个单词首字母大写 参数列表: 方法的运算过程中,是否有未知的数据,如果有未知的数据,定义在参数列表上(定义变量) return: 方法的返回,将计算的结果返回,结束方法 3、调用方法:让一个方法运行起来 4、调用方法执行流程 方法参数里面的都是形参 实际调用时的参数是实参 5、方法调用的内存图 栈:先进后出 后进先出 6、方法定义和使用的注意事项 1、方法不能定义在另一个方法的里面; 2、写错方法名字; 3、写错了参数列表; 4、方法返回值是void,方法中可以省略return不写; Return 后面不能有代码; 5、方法返回值类型,和return 后面数据类型必须匹配; 6、方法重复定义问题; 7、调用方法的时候,返回值是voi...
- 下一篇
原创C# Winform+DevExpress皮肤框架
基于热门C#语言研发的Winform皮肤框架,国内比较成熟的有C/S框架网四大快速开发框架产品,分别是标准版CSFramework V2.x、高级版CSFramework V3.x、企业版CSFramework V4.x、旗舰版CSFramework V5.x。作为.NET快速开发框架首选产品,C/S框架网专注研发基于C# Winform皮肤框架,借助DevExpress三方组件提供的强大界面功能、顶级的外观表现以及专业的用户体验。 基于C# Winform皮肤框架使用的DevExpress常用组件有: 1. GridControl:实用强大的表格组件,GridView:内嵌表格视图。、 2. CharControl:图表组件,如柱状图、饼状图、线状图等。 3. TreeList:树状列表。 4. DefaultLookAndFeel:统一界面风格,统一视觉和体验。 5. XtraScrollableControl:带有水平滚动条、垂直滚动条的控件容器。 6. PanelControl:普通面板组件(控件容器)。 7. GroupControl:分组的面板组件(控件容器),预设带有边框...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16