spider-flow 0.3.0 发布,Java 开源爬虫平台
spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫
更新日志
- 新增Cookie自动管理功能
- 新增resp.links()、resp.images()、resp.title函数
- 新增url批量下载,不用先爬取再下载
- 新增string.lastIndexOf、thread.sleep()、list.filterStr函数
- 新增多函数执行方法
- 新增任务状态、任务执行记录
- 修复爬虫名称有空格时,tab页打不开的BUG
- 修复爬虫名称在编辑时未能获取到名称的BUG
- 优化对返回结果resp.json、resp.html进行缓存
- 优化请求延迟时间对第一次执行也生效

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Linkis 0.9.1 重磅发布
计算中间件,Linkis 0.9.1重磅发布,新增物料库模块,支持Yarn的Capacity调度,支持kerberos等功能特性。 物料库模块:系统和用户级物料管理、物料支持分享和版本控制,支持全生命周期自动管理; 支持Yarn的Capacity调度:在原有支持Fair Scheduler的基础上加上对Yarn的Capacity Scheduler的支持; Kerberos支持:支持Linkis部署在Kerberos集群上; 特性增强 [Linkis-123]增加物料库模块功能:系统和用户级物料管理,可分享和流转,支持物料全生命周期自动管理 [Linkis-62]支持外部系统通过代理模式进行访问. [Linkis-69]Linkis支持将Publicservice拆分成多个微服务. [Linkis-112]Metadata模块增加,加入用户向导建表功能. [Linkis-120]工作空间模块增强,支持解析和保存BML的脚本. [Linkis-72] Linkis httpClient 增强upload功能. [Linkis-109] Linkis-ujes-client模块功能增强,支...
- 下一篇
2019数百家独角兽阵亡:3大原因、5大陷阱,一地鸡毛
2019 年,堪称独角兽的裸泳之年,这一年,我们看到了太多风光无限的创业明星们纷纷倒下,比如史玉柱背书、估值曾高达 100 亿元的团贷网;王思聪加持、直播行业排前三名的熊猫直播,还有号称要颠覆房产行业、互联网房产黑马公司爱屋及乌......一家又一家估值几十亿甚至百亿美元计的独角兽明星们纷纷落幕,似乎只有你想不到的,没有它倒不了的。 2019 年阵亡的企业数量,很可能会远远超过 2018 年。在 IT 桔子发布的《死亡公司公墓——新经济死亡公司数据库》中,2019 年仅仅上半年,就阵亡了 268 家企业,而 2018 年全年的数字是 383 家。 那么,为何这些独角兽们纷纷秒变“毒角兽”?他们死亡的原因有何共通之处,背后有什么是值得我们反思的? 一 三大背景原因 要研究这一点,我们必须先理解 2019 年的大环境。 一是互联网流量的见顶,流量红利时代终结。QuestMobile 最新数据显示,2019 年第二季度,中国移动互联网用户净减少 200 万,这是历年以来首次出现负增长;用户平均使用时长上增速则持续放缓,从 2018 年第四季度的 22.6% 降到 2019 年第一季度的 1...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境