风铃虫 1.3.0 发布了,新增请求上下文
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
风铃虫本次更新功能较多,新增了通过脚本自定义数据提取功能,使得提取功能更加强大。
同时,为了普通用户更好的进行内容页判断,本次优化了内容页确认机制,可以更加方便的决定哪些页面的数据需要抓取,进一步提升抓取效率。
本次更新内容如下:
- 新增实例标识符,为每一个风铃虫实例生成一个唯一的标识符
- 新增设置实例别名功能,允许为风铃虫实例设置一个自定义别名
- 新增同步启动接口
- 优化内容解析器和连接解析器生成过程
- 优化下载器接口,提供更多信息,进一步提升性能
- 优化资源调度员,提供请求上下文信息,方便自定义控制
- 优化信息携带机制,可以通过抓取结果获取更多信息
- 其他一些代码优化
源码地址: https://gitee.com/zhiyubujian/wind-bell
API文档: https://apidoc.gitee.com/zhiyubujian/wind-bell/
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
itest(爱测试) 4.5.5 发布,BUG 跟踪管理 & 敏捷测试管理软件
itest 简介 itest 开源敏捷测试管理,testOps 践行者,极简的任务管理,测试管理,缺陷管理,测试环境管理4合1,又有丰富的统计分析。可按测试包分配测试用例执行,也可建测试迭代(含任务,测试包,BUG)来组织测试工作,也有测试环境管理,还有很常用的测试度量;对于发版频繁,需求常变,itest还可导出用例,线下修改、执行,新增后再导入(同步)到线上;且可根据测试策略来设置测试流程,并可实时调整;在测试看板中,能查看迭代报告,测试包执行情况,测试任务进展,也可以在看板上直接执行用包用例。 在线体验1 http://www.itest.work/demo 在线体验2 http://120.78.0.137/demo v4.5.5 下载地址 :itest下载 本次发布一共33个更新,其中26个功能增强,7个bug 修复。 主要表面为用户体验做了很大提升,任务,测试包,测试用例(增加、修改、执行),BUG(增加、修改、流转)的窗口不用再拖滚动条,就可以点击功能按钮 ;另外用例标签可导入导出,有导入时,如系统中不存在会自动新增;基础字典里增加用例标签,个人在用例维护时填写的新标签...
- 下一篇
pingtunnel 2.2 发布,流量转发工具
pingtunnel 2.2 发布了,pingtunnel 是把 tcp/udp/sock5 流量伪装成 icmp 流量进行转发的工具。用于突破网络封锁,或是绕过 WIFI 网络的登陆验证,或是在某些网络加快网络传输速度。 该版本更新内容包括: 修复已知的 bug 优化性能和传输速率
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果