spider-flow 0.5.0 发布,Java 开源爬虫平台
spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫。
本次更新内容如下:
- 新增注释节点
- 新增字符串反转义函数
- 新增属性窗口切换靠右/靠底
- 新增消息通知功能(任务启动通知、任务停止通知)
- 新增自动重试功能
- 新增自动去重功能
- 新增流程历史版本记录
- 新增rest服务异步启动、查看状态、停止接口
- 新增长任务模式
- 新增输出节点可选编码格式
- 新增函数elementsVar.htmls、outerHtmls、texts、attrs、ownTexts、wholeTexts等方法
- 修复全局参数回显不出值的BUG
- 修复删除任务时未停止任务的BUG
- 修复日志下载内容为空的BUG
- 修复输出csv文件被锁定的问题
- 优化编辑器可跨页面/tab复制粘贴节点
- 优化循环,增加开始位置、结束位置、循环次数或集合,循环下标等
- 优化页面样式
- 优化文档
ocr插件
- 优化配置,单独提取出配置列表(与数据源类似)
mailbox插件
- 优化配置,单独提取出配置列表(与数据源类似)
产品规划
从v0.6.0版本起前端将改用vue重构,有兴趣的小伙伴可以联系我~
截图
Github
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
史上最便捷搭建RocketMQ服务器的方法
最近学习使用 rocketmq,需要搭建 rocketmq 服务端,本文主要记录 rocketmq 搭建过程以及这个过程踩到的一些坑。至于有多简单呢,在本机已有Docker环境的情况下只需要三步即可。 从github上面拉取项目 修改broker.conf中的brokerIP1 参数,修改为本机IP 进入docker-compose.yml文件所在路径,执行docker-compose up命令即可 前言 首先我们是使用Docker进行搭建环境的,所以我们先要在自己机器上的安装Docker,具体的安装过程以及对于Docker的介绍官方文档里面说的很清楚了https://docs.docker.com/get-started/。 我们要搭建RocketMQ服务器,那么我们就要知道大概搭建RocketMQ服务器需要部署哪些东西。对于RocketMQ有一个架构图,如下所示。而图中所示的Producer(生产者)和Consumer(消费者)无需我们搭建,因为那是作为一个服务器进行启动的。nameserver就是一个注册中心一样组件,我们可以将其简单理解成springcloud中的Eureka,...
- 下一篇
Java 代码生成器光 2.0.0 Insight(内省) 发布尝鲜版 3,代码变变变
Java 代码生成器光 2.0.0 Insight(内省) 发布尝鲜版3,代码变变变 大家都知道,JavaEE 的代码结构是多变的,不同项目组是不尽相同的。比如说域对象 Bonus 在不同的项目中可能被命名为 Bonus, BonusVo, BonusBo, BonusPO 或者 BonusEntity。 不同项目中 BonusServiceImpl 的储存路径也是不同的,比如可能是 serviceimpl 或者是 service.impl。还有 Bonus Controller 这个对象,有些项目中可能是 BonusFacade 或者 BonusAdapter。 Java通用代码生成器光 2.0.0 Insight(内省) 可以兼容所有这些变体,只需要在 Project 页做简单的设置,就可以方便地生成这些风格的代码。 如此先进灵活和易用的代码生成器,您值得一试。 项目地址:https://gitee.com/jerryshensjf/LightSBMEU 二进制发布版下载地址:https://gitee.com/jerryshensjf/LightSBMEU/attach_file...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7,CentOS8安装Elasticsearch6.8.6
- 设置Eclipse缩进为4个空格,增强代码规范
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2更换Tomcat为Jetty,小型站点的福音