您现在的位置是:首页 > 文章详情

spider-flow 0.1.0 发布,Java 开源爬虫平台

日期:2019-10-30点击:585

历时三个多月,第一个正式版发布

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

现已有特性如下:

  • 支持css选择器、正则提取
  • 支持JSON/XML格式
  • 支持Xpath/JsonPath提取
  • 支持多数据源、SQL select/insert/update/delete/批量插入
  • 支持爬取JS动态渲染的页面
  • 支持代理
  • 支持二进制格式、二进制流格式
  • 支持保存/读取文件(csv、xls、jpg等)
  • 常用字符串、日期、文件、加解密等函数
  • 支持流程嵌套
  • 支持插件扩展(自定义执行器,自定义函数)
  • 支持HTTP接口

已有插件如下:

  • selenium 插件
  • redis 插件
  • mongodb 插件
  • IP代理池 插件
  • OCR 识别插件
  • OSS 插件
  • 电子邮箱 插件

部分截图:

原文链接:https://www.oschina.net/news/110954/spider-flow-0-1-0-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章