如何租到靠谱的房子？Scrapy爬虫帮你一网打尽各平台租房信息！-低调大师

如何租到靠谱的房子？Scrapy爬虫帮你一网打尽各平台租房信息！

2018-05-30 623

又是一年n度的找房高峰期，各种租赁信息眼花缭乱，如何快速、高效的找到靠谱的房子呢？

不堪忍受各个租房网站缭乱的信息，一位技术咖小哥哥最近开发了一个基于 Scrapy 的爬虫项目，聚合了来自豆瓣，链家，58 同城等上百个城市的租房信息，统一集中搜索感兴趣的租房信息，还突破了部分网站鸡肋的搜索功能。

通过这个“秘密武器”，这位技术咖已经使用该爬虫找到合适的住所。

不仅如此，还很无私地整理了项目代码，并放上了Github。

Github链接：

https://github.com/kezhenxu94/house-renting

接下来，跟着文摘菌一起来看看这波酷炫的操作。

环境部署

Python版本：Python 2 || Python 3

爬虫框架：Scrapy

操作系统：Mac || Linux || Windows

服务引擎：Docker

获取源码

微信关注我们

原文链接：https://yq.aliyun.com/articles/598543

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

8个最高效的Python爬虫框架，你用过几个？

小编收集了一些较为高效的Python爬虫框架。分享给大家。 1.Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。项目地址：https://scrapy.org/ 2.PySpider pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。项目地址：https://github.com/binux/pyspider 3.Crawley Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。项目地址：h

2018-05-31

598

scikit-learn之决策树可视化

平时我们在用机器学习建模时，往往只是用建模去分析数据，得到结论。但有时，我们也需要一些可视化的东西，比如决策树可视化等。在Python的机器学习库scikit-learn中，tree类中的export_graphviz()函数就能导出树的可视化结果。下面我们将通过一个简单的例子来展示如何将模型建立的决策树可视化。我们使用的数据是位于E盘中log_reg文件夹下的playTennisTr.csv，数据如下： Python代码如下： # import modules import pandas as pd from sklearn import tree import graphviz # read data from other places, e.g. csv # drop_list: variables that are not used def read_data(file_path, drop_list=[]): dataSet = pd.read_csv(file_path,sep=',') for col in drop_list: dataSet = dataSe...

2018-05-31

657

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。