spider-flow 0.4.0 发布,Java 开源爬虫平台
spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫
更新日志
- 新增自定义函数功能
- 新增输出节点支持输出至数据库或csv文件
- 新增获取元素节点和上级元素方法elementVar.subling()、elementVar.parent()、elementVar.parents()、elementsVar.parents()
- 修复日志文件内容为空的问题 #I1AXQK
- 修复输出时可能出现的ArrayIndexOutOfBoundsException异常
- 优化界面显示,并将右侧属性配置移到底部
- 优化file函数,将下载调整为file.download(path,url)和file.download(path,urls)
- 优化程序逻辑,将递归执行改为非递归执行
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Java并发编程(02):线程核心机制,基础概念扩展
一、线程基本机制 1、概念描述 并发编程的特点是:可以将程序划分为多个分离且独立运行的任务,通过线程来驱动这些独立的任务执行,从而提升整体的效率。下面提供一个基础的演示案例。 2、应用案例 场景:假设有一个容器集合,需要拿出容器中的每个元素,进行加工处理,一般情况下直接遍历就好,如果数据偏大,可以根据线程数量对集合切割,每个线程处理一部分数据,这样处理时间就会减少很多。 public class ExtendThread01 { public static void main(String[] args) { List<Object> dataList = new ArrayList<>() ; dataList.add("A"); dataList.add("B"); dataList.add("C"); // 把一个大的集合按照每个子集合的2个元素切割 List<List<Object>> splitList = splitList(dataList,2); for (List<Object> list:splitList...
- 下一篇
超轻量级 sql 模板插件 SqlTpl 正式发布第一版
SqlTpl 介绍 一个帮你超轻量的管理sql模版插件,你可以自定义一个渲染引擎来使用模版。 使用 xml 对 sql 片段进行管理,类似 mybatis 可以自定义渲染 sql语句的引擎,默认采用 beetl html 引擎渲染 只负责渲染 sql 环境要求JDK1.8+spring-boot 使用文档: https://gitee.com/threefish/spring-boot-sqltpl/blob/master/README.md 它还有一个nutz版: https://gitee.com/threefish/nutz-sqltpl
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Red5直播服务器,属于Java语言的直播服务器