Python网络爬虫之urllib2的使用细节与抓站技巧-低调大师

Python网络爬虫之urllib2的使用细节与抓站技巧

2018-01-13 720

某些网站反感爬虫的到访，于是对爬虫一律拒绝请求,这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现

一、伪装成浏览器访问+表单data的处理

示例1

二、获取访问Cookie的值

示例2

三、Proxy的设置及Timeout 设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响，那么可以使用如下代理操作

示例3

四、使用 urllib2时打开Debug Log模式

debug Log 的打开，这样收发包的内容就会在屏幕上打印出来，方便调试，有时可以省去抓包的工作，这样就可以看到传输的数据包内容了。

示例4

五、对付"反盗链"

某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像把headers的referer改成该网站即可，以cnbeta为例：headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些网站喜欢读取header中的X-Forwarded-For来看看人家的真实IP，可以直接把X-Forwarde-For改了

示例5

资料来源：感谢汪童鞋的分享

微信关注我们

原文链接：https://yq.aliyun.com/articles/664288

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

程序员的我是如何抢票的（Python）

马上就要回家过年了，你的票买好了吗。虽然我不用抢票，但是还是研究了一下怎么抢票。程序员嘛，就是要对一切问题进行解构，探索原理本质，寻找规律，将其自动化。。。好了，言归正传，开始。 1.首先，打开12306网。选个自己要买的路段，我这里是随便选的。然后点击查询。 2.按下F12，设置如红色框。然后重新点击查询，看看浏览器都发送了什么给服务器。从下图看，是发送了两条。 3.分别点击发送的两条，查看返回结果。可以看到第二条里面有当前网页车票相关的信息。比如“有”就是显示在网页上面的车票后面的有字，“大连”就是出发站信息。于是，我们知道车票信息是在这里面。实际这是个json格式的数据。 4.继续查看这条请求访问的链接。如下。于是，我们可以用requests库来模拟浏览器访问。很简单，具体写作如下： 5.那么，如下图车票的有无信息是如何提取出来呢？仔细观察发现，“有”“无”“-”信息是用“|”线来分割的。而且为了防止爬取，顺序是和网页显示不一样的。探究规律如下：数字意思：软卧 23 意思是第23个字符内容对应的是软卧的有无票状态。 '''无座 26软卧 23硬座 29硬卧 28特...

2018-01-14

527

JavaWeb: 报错信息The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path 好久不写Jsp，今天建立了一个Javaweb工程，并在eclipse中配置了Web容器Tomcat。原本开心的新建jsp页面，添加一个简单的Java类。可是，JSP页面顶端出现“红色”的报错信息：The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path。原来Javaweb工程类中没有添加Tomcat运行时相关类导致。下面是具体的解决方法： 1、右击web工程-》属性或Build Path-》Java Build Path->Libraries-> Add Libray...->Server Runtime -》Tomcat Server 2、切换到Java Build Path界面中的Orader and Export，选择Tomcat。注意：按以上方...

2018-01-14

517

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。