六步安装scrapy
scrapy在Windows下安装会很麻烦,要安装许多依赖库,本文为你介绍一下怎么安装,scrapy.分为六步
1、安装 wheel
首先要确保你的python配置到环境变量里,否则你的python和pip都无法使用。
然后需要安装几个依赖库
pip install wheel
安装好这个库之后,你就可以安装一些wheel文件,因为有一些库用pip安装起来比较麻烦,这个时候就要用到wheel,你可以通过安装wheel文件,来安装一些库。
2、安装lxml
打开下载wheel文件的网址 https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
下载对应python版本的lxml wheel文件,下载之后记住路径,
pip install + 下载lxml wheel文件的路径
3、安装PyOpenssl
打开网址 https://pypi.python.org/pypi/PyOpenSSL#downloads
下载wheel文件
pip install + 下载文件路径
4、安装Twisted
打开网址 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载wheel文件
pip install + 下载文件路径
5、安装Pywin32
pip install Pywin32
6、安装Scrapy
pip install Scrapy
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
高并发下怎么优化能避免服务器压力过大?
用户多,不代表你服务器访问量大,访问量大不一定你服务器压力大!我们换成专业点的问题,高并发下怎么优化能避免服务器压力过大? 1,整个架构:可采用分布式架构,利用微服务架构拆分服务部署在不同的服务节点,避免单节点宕机引起的服务不可用! 2,数据库:采用主从复制,读写分离,甚至是分库分表,表数据根据查询方式的不同采用不同的索引比如b tree,hash,关键字段加索引,sql避免复合函数,避免组合排序等,避免使用非索引字段作为条件分组,排序等!减少交互次数,一定不要用select *! 3,加缓存:使用诸如memcache,redis,ehcache等缓存数据库定义表,结果表等等,数据库的中间数据放缓存,避免多次访问修改表数据!登录信息session等放缓存实现共享!诸如商品分类,省市区,年龄分类等不常改变的数据,放缓存,不要放数据库! 同时要避免缓存雪崩和穿透等问题的出现导致缓存崩溃! 4,增量统计:不要实时统计大量的数据,应该采用晚间定时任务统计,增量统计等方式提前进行统计,避免实时统计的内存,CPU压力! 5,加图片服务器:图片等大文件,一定要单独经过文件服务器,避免IO速度对动态数...
- 下一篇
浅谈内存泄露
正文 定义 首先,我们要先谈一下定义,因为一堆人搞不懂内存溢出和内存泄露的区别。 内存溢出(OutOfMemory):你只有十块钱,我却找你要了一百块。对不起啊,我没有这么多钱。(给不起) 内存泄露(MemoryLeak):你有十块钱,我找你要一块。但是无耻的博主,不把钱还你了。(没退还) 关系:多次的内存泄露,会导致内存溢出。(博主不要脸的找你多要几次钱,你就没钱了,就是这个道理。) 危害 ok,大家在项目中有没遇到过java程序越来越卡的情况。 因为内存泄露,会导致频繁的Full GC,而Full GC又会造成程序停顿,最后Crash了。因此,你会感觉到你的程序越来越卡,越来越卡,然后你就被产品经理鄙视了。顺便提一下,我们之所以JVM调优,就是为了减少Full GC的出现。 我记得,我曾经有一次,就遇到项目刚上线的时候好好的。结果随着时间的堆积,报了OutOfMemoryError: PermGen space。 说到这个PermGen space,突然间,一阵洪荒之力,从博主体内喷涌而出,一定要介绍一下这个方法区,不过点到为止,毕竟这不是在讲《jvm从入门到放弃》。 方法区:出自...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果