您现在的位置是:首页 > 文章详情

风铃虫 2.0.0 发布,新增抓取深度限制

日期:2020-05-30点击:402

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次更新是一个重大的版本更新,在本次更新过程中,对大量代码进行重构,提升了代码质量,并新增了许多新功能。在保证稳定性的同时,将默认使用正则表达式匹配改为使用关键词匹配,使用门槛进一步降低。另外还新增了去重接口,使用户能够根据需要实现自定义去重逻辑。与此同时,本次更新还增加了深度限制功能,可以根据用户的设置来限制抓取深度。

本次更新点如下

  1. 重新定义任务调度器,优化调度相关算法
  2. 剥离请求去重模块,能自定义去重逻辑
  3. 优化实例别名设置,实现全局别名依赖
  4. 修复基于内存实现的请求记录器中的严重漏洞
  5. 增加请求深度限制机制,允许设置抓取深度
  6. 优化规则构造器,增加构造规则
  7. 优化同步启动接口
  8. 增加无查询参数去重器
  9. 修改XPATH提取内核
  10. 优化构造规则,规则组织更合理和人性化
  11. 优化定义内容解析器
  12. 优化定义链接解析器
  13. 优化测试系列接口
  14. 优化内容匹配默认设置
  15. 增加链接过滤规则,支持多种方式过滤链接
  16. 修复处理相对路径时的逻辑错误
原文链接:https://www.oschina.net/news/116051/wind-bell-2-0-0-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章