分布式爬虫很难吗？用Python写一个小白也能听懂的分布式知乎爬虫-低调大师

分布式爬虫很难吗？用Python写一个小白也能听懂的分布式知乎爬虫

2018-05-03 711

前言

很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫（Web Spider）。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写了一个基于 python 的网络爬虫。

几个月前写了爬虫的初版，后来因为一些原因，暂时搁置了下来，最近重新拾起这个想法。首先优化了代码的结构，然后在学弟的提醒下，从多线程改成了多进程，一台机器上运行一个爬虫程序，会启动几百个子进程加速抓取。

但是一台机器的性能是有极限的，所以后来我使用 MongoDB 和 Redis 搭建了一个主从结构的分布式爬取系统，来进一步加快抓取的速度。

然后我就去好几个服务器厂商申请免费的试用，比如百度云、腾讯云、Ucloud…… 加上自己的笔记本，断断续续抓取了一个多周，才采集到300万知乎用户数据。中间还跑坏了运行网站的云主机，还好自动

微信关注我们

原文链接：https://yq.aliyun.com/articles/589932

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Python远程连接服务器上的Oracle数据库

Python远程连接服务器上的Oracle数据库 1、正确的开启方式在你的IPython或者是Anaconda的jupyter中输入一下代码，其中: ‘username’—— 用户名 ‘password’——密码 ‘192.168.1.1:1521/service_name’——IP/端口号/服务名称 import cx_Oracle conn = cx_Oracle.connect('username','password','192.168.1.1:1521/service_name') 如果以上代码不会报错，那么你应该是已经成功连接数据库了。而如果报错，检查一下是什么问题。 2、暴露问题（1）cx_Oracle未安装如果上位安装cx_Oracle包，可以在cmd状态下，到Python安装目录下，使用pip命令完成安装。 pip install cx_Oracle （2）缺少instanctclient 如果本机没有安装Oracle数据库，又要通过Python访问远程服务器上的Oracle，那么需要在本机上安装instantclient。安装可以从Oracle官网获取安装包，...

2018-05-03

751

原文: C#开源框架 Json.NET http://json.codeplex.com/ Json.Net 是一个读写Json效率比较高的.Net框架.Json.Net 使得在.Net环境下使用Json更加简单。通过Linq To JSON可以快速的读写Json，通过JsonSerializer可以序列化你的.Net对象。让你轻松实现.Net中所有类型(对象,基本数据类型等)和Json的转换。 Math.NET http://www.mathdotnet.com/ Math.NET的目标是为提供一款自身包含清晰框架的符号运算和数学运算/科学运算，它是C#开发的开源类库。Math.NET含了一个支持线性代数的解析器，分析复杂微分，解方程等等功能。 Faker.Net https://github.com/jonwingfield/Faker.Net 开发的时候是不是为测试数据烦恼？Faker.Net可以非常方便帮你生成大批量测试数据。例如人员表里面的姓名、性别什么的。 Html Agility Pack http://htmlagilitypack.codeplex.com/ ...

2018-05-03

627

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。