爬虫管理平台 Crawlab v0.4.9 发布
前言
本次更新包括几个部分:
- 更高级的权限管理
- 趣味挑战
- 可配置爬虫转化自定义爬虫
- 结果去重
- 任务重试
更新日志
功能 / 优化
- 挑战. 用户可以完成不同的趣味挑战..
- 更高级的权限控制. 更细化的权限管理,例如普通用户只能查看或管理自己的爬虫或项目,而管理用户可以查看或管理所有爬虫或项目.
- 反馈. 允许用户发送反馈和评分给 Crawlab 开发组.
- 更好的主页指标. 优化主页上的指标展示.
- 可配置爬虫转化为自定义爬虫. 用户可以将自己的可配置爬虫转化为 Scrapy 自定义爬虫.
- 查看定时任务触发的任务. 允许用户查看定时任务触发的任务. #648
- 支持结果去重. 允许用户配置结果去重. #579
- 支持任务重试. 允许任务重新触发历史任务.
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 任务
- 任务重试机制
- 定时任务
- 日历展示
- 全局
- 支持版本更新日志展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 插件系统
参考
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
微信模块 Oejia_wx v0.6.2 发布,缓存对象配置模型等多项优化
Oejia_wx v0.6.2 发布了。Odoo 的微信模块,提供了对微信公众号、企业号(企业微信)及小程序的接入与管理,实现了微信消息与Odoo聊天的无缝对接。 v0.6.2 用户组字段名兼容修复,公众号用户性别增加未知选项 对接配置时的异常提示优化 优化缓存对象赋值更新的方式,entry优化为延迟加载 公众号、企业微信等的配置模型切换为新独立模型 SessionStorage增加过期判断机制 统一依赖和使用的SDK库,简化代码结构 公众号对接配置增加加密模式设置项 基本使用说明 功能大纲
- 下一篇
F版本SpringCloud 5—Eureka集群和自我保护机制
源码地址:https://gitee.com/bingqilinpeishenme/Java-Tutorials 前言 上篇文章中,通过代码搭建了Eureka注册中心和客户端,是Eureka的简单应用,在本文中将会讲解更多关于Eureka服务端的应用以及原理。 Eureka 自我保护机制 进入自我保护机制的标志【重点】 在使用Eureka的过程中,有时候会在Eureka服务端的页面上看到如下的内容: 在监控页面上会看到一行红字儿,这些红字儿什么意思呢?代表着Eureka注册中心进入了自我保护机制。 什么是自我保护机制【重点】 默认情况下,如果Eureka Server在一定时间内没有接受到服务实例的心跳,Eureka将会注销该实例(默认90秒).但是当网络分区发生故障时,微服务客户端和Eureka Server 无法正常通信。以上行为可能变得特别危险了,因为微服务本身是健康的,此时不能注销该服务实例。 Eureka通过自我保护机制来解决这个问题,当Eureka Server在短时间丢失过多的服务实例(可能发生了网络分区的故障),那么Eureka Server进入自我保护模式,一旦进入此...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Mario游戏-低调大师作品