首页 文章 精选 留言 我的

精选列表

搜索[Python],共10000篇文章
优秀的个人博客,低调大师

22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别

转自: http://www.bdyss.cn http://www.swpan.cn 第一步。首先下载,大神者也的倒立文字验证码识别程序 下载地址:https://github.com/muchrooms/zheye 注意:此程序依赖以下模块包 Keras==2.0.1 Pillow==3.4.2 jupyter==1.0.0 matplotlib==1.5.3 numpy==1.12.1 scikit-learn==0.18.1 tensorflow==1.0.1 h5py==2.6.0 numpy-1.13.1+mkl 我们用豆瓣园来加速安以上依赖装如: pipinstall-ihttps://pypi.douban.com/simpleh5py==2.6.0 如果是win系统,可能存在安装失败的可能,如果那个包安装失败,就到 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到win对应的版本下载到本地安装,如: pipinstallh5py-2.7.0-cp35-cp35m-win_amd64.whl 第二步,将者也的,验证码识别程序的zheye文件夹放到工程目录里 第三步,爬虫实现 start_requests()方法,起始url函数,会替换start_urls Request()方法,get方式请求网页 url=字符串类型url headers=字典类型浏览器代理 meta=字典类型的数据,会传递给回调函数 callback=回调函数名称 scrapy.FormRequest()post方式提交数据 url=字符串类型url headers=字典类型浏览器代理 meta=字典类型的数据,会传递给回调函数 callback=回调函数名称 formdata=字典类型,要提交的数据字段 response.headers.getlist('Set-Cookie')获取响应Cookiesresponse.request.headers.getlist('Cookie')获取请求Cookies #-*-coding:utf-8-*- importscrapy fromscrapy.httpimportRequest,FormRequest importre classPachSpider(scrapy.Spider):#定义爬虫类,必须继承scrapy.Spider name='pach'#设置爬虫名称 allowed_domains=['zhihu.com']#爬取域名 #start_urls=['']#爬取网址,只适于不需要登录的请求,因为没法设置cookie等信息 header={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:54.0)Gecko/20100101Firefox/54.0'}#设置浏览器用户代理 defstart_requests(self):#起始url函数,会替换start_urls """第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数""" return[Request( url='https://www.zhihu.com/#signin', headers=self.header, meta={'cookiejar':1},#开启Cookies记录,将Cookies传给回调函数 callback=self.parse )] defparse(self,response): #响应Cookies Cookie1=response.headers.getlist('Set-Cookie')#查看一下响应Cookie,也就是第一次访问注册页面时后台写入浏览器的Cookie print('后台首次写入的响应Cookies:',Cookie1) #获取xsrf密串 xsrf=response.xpath('//input[@name="_xsrf"]/@value').extract()[0] print('获取xsrf密串:'+xsrf) #获取验证码 importtime t=str(int(time.time()*1000)) captcha_url='https://www.zhihu.com/captcha.gif?r={0}&type=login&lang=cn'.format(t)#构造验证码请求地址 yieldRequest(url=captcha_url,#请求验证码图片 headers=self.header, meta={'cookiejar':response.meta['cookiejar'],'xsrf':xsrf},#将Cookies和xsrf密串传给回调函数 callback=self.post_tj ) defpost_tj(self,response): withopen('yzhm.jpg','wb')asf:#打开图片句柄 f.write(response.body)#将验证码图片写入本地 f.close()#关闭句柄 #---------------------------者也验证码识别----------------------- fromzheyeimportzheye#导入者也倒立文字验证码识别模块对象 z=zheye()#实例化对象 positions=z.Recognize('yzhm.jpg')#将验证码本地路径传入Recognize方法识别,返回倒立图片的坐标 #print(positions)#默认倒立文字的y坐标在前,x坐标在后 #知乎网要求的倒立文字坐标是x轴在前,y轴在后,所以我们需要定义一个列表来改变默认的,倒立文字坐标位置 pos_arr=[] iflen(positions)==2: ifpositions[0][1]>positions[1][1]:#判断列表里第一个元祖里的第二个元素如果大于,第二个元祖里的第二个元素 pos_arr.append([positions[1][1],positions[1][0]]) pos_arr.append([positions[0][1],positions[0][0]]) else: pos_arr.append([positions[0][1],positions[0][0]]) pos_arr.append([positions[1][1],positions[1][0]]) else: pos_arr.append([positions[0][1],positions[0][0]]) print('处理后的验证码坐标',pos_arr) #-------------者也验证码识别结束-------- iflen(pos_arr)==2: data={#设置用户登录信息,对应抓包得到字段 '_xsrf':response.meta['xsrf'], 'password':'279819', 'captcha':'{"img_size":[200,44],"input_points":[[%.2f,%f],[%.2f,%f]]}'%( pos_arr[0][0]/2,pos_arr[0][1]/2,pos_arr[1][0]/2,pos_arr[1][1]/2),#因为验证码识别默认是400X88的尺寸所以要除以2 'captcha_type':'cn', 'phone_num':'15284816568' } else: data={#设置用户登录信息,对应抓包得到字段 '_xsrf':response.meta['xsrf'], 'password':'279819', 'captcha':'{"img_size":[200,44],"input_points":[[%.2f,%f]]}'%( pos_arr[0][0]/2,pos_arr[0][1]/2), 'captcha_type':'cn', 'phone_num':'15284816568' } print('登录提交数据',data) print('登录中....!') """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权""" return[scrapy.FormRequest( url='https://www.zhihu.com/login/phone_num',#真实post地址 meta={'cookiejar':response.meta['cookiejar']},#接收第传过来的Cookies headers=self.header, formdata=data, callback=self.next )] defnext(self,response): #请求Cookie Cookie2=response.request.headers.getlist('Cookie') print('登录时携带请求的Cookies:',Cookie2) jieg=response.body.decode("utf-8")#登录后可以查看一下登录响应信息 print('登录响应结果:',jieg) print('正在请需要登录才可以访问的页面....!') """登录后请求需要登录才能查看的页面,如个人中心,携带授权后的Cookie请求""" yieldRequest( url='https://www.zhihu.com/people/lin-gui-xiu-41/activities', headers=self.header, meta={'cookiejar':True}, callback=self.next2 ) defnext2(self,response): #请求Cookie Cookie3=response.request.headers.getlist('Cookie') print('查看需要登录才可以访问的页面携带Cookies:',Cookie3) leir=response.xpath('/html/head/title/text()').extract()#得到个人中心页面 print('最终内容',leir) #print(response.body.decode("utf-8")) 【转载自:http://www.lqkweb.com】

优秀的个人博客,低调大师

Python 的 with 到底在管什么?拆开上下文管理器:__exit__ 返回值决定生死,异常从 yield 灌进去

**结论先行:with 不是语法糖版的 try/finally——它把「资源生命周期」拆成了两次函数调用:__enter__ 拿资源、__exit__ 还资源,而 __exit__ 的返回值就是异常的生杀大权:返回 True,异常被当场吞掉;返回 False 或 None,异常原样穿透。更反直觉的是 @contextmanager 那一套:with 块里抛出的异常不是「被 except 抓到」,而是被 throw 进生成器、从 yield 那个点灌进去的。实测这套协议本身只要 353 纳秒,但一个没关掉的文件句柄能拖垮整个服务。这篇用 6 组实验把协议拆到底。** --- ## 1. 两次调用:with 的全部秘密 **把 with 语句编译成字节码,结构极其简单**: ```javascript 1 BEFORE_WITH # 调用 __enter__,结果压栈(就是 as 绑定的值) 2 ... # with 块体 3 LOAD_CONST None 4 PUSH_EXC_INFO # 记录:如果块体炸了,异常信息在这里 5 WITH_EXCEPT_START# 调 __exit__(type, val, tb),看返回值决定吞不吞 6 POP_EXCEPT # 块体正常结束也走这里:__exit__(None, None, None) ``` **正常路径**:`__enter__()` → 块体 → `__exit__(None, None, None)`。 **异常路径**:块体炸了 → `__exit__(异常类型, 异常值, traceback)` → 返回真值就地吞掉,返回假值原样抛出。 实测 tracer 类的调用序列完全吻合: ```javascript __enter__ called body running __exit__ called, exc = None ``` ## 2. __exit__ 的返回值 = 异常的生杀大权 **这是整个协议里唯一需要记住的规则**。三个实测场景: |`__exit__` 返回|块体抛 `ValueError`|实测结果| | --- | --- | --- | |`True`|吞掉|`suppress __exit__ exc = ValueError` → 后续代码继续执行| |`False`|穿透|`reraise __exit__ exc = KeyError` → 外层 try 抓到 KeyError| |`None`(默认)|穿透|同 False,异常原样抛出| **这就是 **`contextlib.suppress(FileNotFoundError)`** 的全部实现原理**——它的 `__exit__` 就是一句 `return issubclass(exc_type, self._exceptions)`。**一个返回值,把一个 try/except/pass 三件套压缩成了 with 一行**。 ## 3. @contextmanager:yield 是 enter/exit 的分界线 `@contextlib.contextmanager` **把一个生成器函数变成上下文管理器,切面就一刀**: ```javascript @contextlib.contextmanager def res(tag): print('enter: acquire', tag) # yield 之前的代码 = __enter__ try: yield tag # ← as 绑定的值;块体在这里跑 finally: print('exit: release', tag) # yield 之后的代码 = __exit__ ``` 实测输出:`enter: acquire DB` → `using DB` → `exit: release DB`。****yield 之前是拿资源,yield 之后是还资源**,with 块体整个被塞进 yield 的暂停窗口里。** ## 4. 异常不是被 except 抓的,是被 throw 进去的 这是 @contextmanager 最容易被误解的地方。看这组实测: ```javascript @contextlib.contextmanager def res2(): try: yield except ValueError: print('gen caught ValueError (via throw)') # ← 这一行会打印 finally: print('gen finally') with res2(): raise ValueError('x') ``` 输出证实:`gen caught ValueError (via throw)` 和 `gen finally` 都打印了。 ****块体里的 ValueError 不是「冒泡到 except」**——它是被 `gen.throw(ValueError)` 从 yield 那个点直接灌进生成器的**。**所以写在 yield 后面的 except 能抓到 with 块体的异常**,**写在 yield 前面的代码(enter 阶段)想抓也抓不到**——那时块体还没开始跑。 这也是为什么上下文管理器里写「清理」要放在 finally 里:异常从 yield 灌进来,finally 是唯一保证执行的收尾。 ## 5. 异常被吞的三种死法,逐一排雷 用 @contextmanager 时踩坑的经典三连: |坑|现象|根因| | --- | --- | --- | |yield 不在 try 里|块体一抛异常,finally 不执行,资源泄漏|yield 裸奔,throw 直接掀翻生成器| |yield 返回值为 None|`with res() as r` 拿到 None|忘了 `yield value`,as 绑了个空| |enter 阶段就抛异常|块体不执行,但 `__exit__` 也不会调|进屋子就塌了,没人负责拆屋| **规律:拿资源的代码(yield 前)要自含清理或让它自然失败;还资源的代码(yield 后)必须包在 finally 里。** ## 6. 协议本身 353 纳秒,但别在热点里开火锅店 实测 100 万次 with 的开销: |写法|每次耗时| | --- | --- | |`with noop: pass`(空协议)|**353 ns**| |裸 `try/finally: pass`|60 ns| |`with open('NUL') as f: pass`|42 250 ns| 两个结论:****协议本身(两次方法调用+异常帧)约 300 ns**,约为裸 try/finally 的 6 倍;但真正的开销从来不在协议——open 的 42 微秒全是系统调用**。在每秒百万次的循环里开合 with 确实该优化(提到循环外),但绝大多数场景,with 的 353 ns 连零头都算不上。为了「性能」把 with 拆成裸 try/finally,是用可维护性换 290 纳秒的亏本买卖**。** --- **一句话收尾:with 的本质是「两次调用加一个返回值」——__enter__ 拿资源、__exit__ 还资源、返回值决定异常生死;@contextmanager 把这一切架在 yield 上:异常不是被抓的,是从 yield 灌进去的。353 纳秒的协议费,买的是资源生命周期永远不会漏的保证。**

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册