Python爬虫一步步抓取房产信息-低调大师

Python爬虫一步步抓取房产信息

2018-03-13 802 89

嗯，这一篇文章更多是想分享一下我的网页分析方法。玩爬虫也快有一年了，基本代码熟悉之后，我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了，也就是分析过程，对性能没有特殊要求的情况下，编程一般是小事。

以深圳地区的X房网为例吧。XX房网的主页非常简洁，输入相应的地区就可以找到对应的二手房或者一手房。这一篇文章主要就给大家介绍我在做XX房网爬虫的分析过程。

注意：本文采用Chrome作为分析加载工作，如果使用其他浏览器，请参考具体的规则。
首先想到的

嗯，你首先要跳出编程，从使用者甚至是产品经理的角度去思考：在浏览这个页面的时候，如何就能看到全市的二手房的情况。通过主页的一个区一个区的输入，搜索，然后将页面的单元下载，嗯这是一个方法。

南山区首页的情况

如上图所示，只要更改keyword后面的参数，就可以获得不同区的二手房数据。编程的时

微信关注我们

原文链接：https://yq.aliyun.com/articles/538950

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2018-03-14 00:00:00

【亲测有效】Nodepad++/Sublime Text3中Python脚本运行出现语法错误：IndentationError: unind...

我在开发游戏的时候，发现一个python脚本，本来都运行好好的，然后写了几行代码，而且也都确保每行都对齐了，但是运行的时候，却出现语法错误： IndentationError: unindent does not match any outer indentation level 【解决过程】以下我将提供两种环境对错误进行更改： Nodepad++： 1.对于此错误，最常见的原因是，的确没有对齐。但是我根据错误提示的行数，去代码中看了下，没啥问题啊。都是用TAB键，对齐好了的，没有不对齐的行数啊。2.以为是前面的注释的内容影响后面的语句的语法了，所以把前面的注释也删除了。结果还是此语法错误。3.后来折腾了半天，突然想到了，把当前python脚本的所有字符都显示出来看看有没有啥特殊的字符。当前用的文本编辑器Notepad++，好像有个设置，可以显示所有的字符的。找到了，在：视图 -> 显示符号 -> 显示空格与制表符然后就看出问题来了：原来错误的行数是1580行：但是源码的1580行的对齐用的是点点点的空格，是和前面的几行的对齐所用的箭头表示的TAB键，是不匹配的，即...

546

2018-03-14 00:00:00

Python网络爬虫实战三例（附视频讲解）

抓取简书用户信息之前我写的爬虫都是将已知的固定数据的网址存到list中，然后遍历list中的网址。这次针对简书，我们使用递归来试一下。什么是递归程序（或函数）调用自身的编程技巧称为递归（ recursion）。一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法，它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解。递归的优点 1、降低问题难度 2、大大地减少了程序的代码量 3、递归的能力在于用有限的语句来定义对象的无限集合本案例视频讲解如下：抓取淘宝评论之前我水平有限，对于淘宝评论这种动态网页，由于数据在网页源码中是找不到的，所以无法抓取数据，只能使用selenium模仿人操控浏览器来抓数据，优点是可见容易且不宜被淘宝公司封锁；缺点是速度太慢。经过今天一天的钻研，终于学会分析数据包，而且淘

553

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。