爬虫管理平台 Crawlab v0.4.9 发布-低调大师

爬虫管理平台 Crawlab v0.4.9 发布

2020-03-31 635

前言

本次更新包括几个部分：

更高级的权限管理
趣味挑战
可配置爬虫转化自定义爬虫
结果去重
任务重试

更新日志

功能 / 优化

挑战. 用户可以完成不同的趣味挑战..
更高级的权限控制. 更细化的权限管理，例如普通用户只能查看或管理自己的爬虫或项目，而管理用户可以查看或管理所有爬虫或项目.
反馈. 允许用户发送反馈和评分给 Crawlab 开发组.
更好的主页指标. 优化主页上的指标展示.
可配置爬虫转化为自定义爬虫. 用户可以将自己的可配置爬虫转化为 Scrapy 自定义爬虫.
查看定时任务触发的任务. 允许用户查看定时任务触发的任务. #648
支持结果去重. 允许用户配置结果去重. #579
支持任务重试. 允许任务重新触发历史任务.

Bug 修复

CLI 无法在 Windows 上使用. #580
重新上传错误. #643 #640
上传丢失文件目录. #646
无法在爬虫定时任务标签中添加定时任务.

产品规划

结果展示
- 支持其他数据库
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
任务
- 任务重试机制
定时任务
- 日历展示
全局
- 支持版本更新日志展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
插件系统

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

微信关注我们

原文链接：https://www.oschina.net/news/114511/crawlab-0-4-9-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微信模块 Oejia_wx v0.6.2 发布，缓存对象配置模型等多项优化

Oejia_wx v0.6.2 发布了。Odoo 的微信模块，提供了对微信公众号、企业号（企业微信）及小程序的接入与管理，实现了微信消息与Odoo聊天的无缝对接。 v0.6.2 用户组字段名兼容修复，公众号用户性别增加未知选项对接配置时的异常提示优化优化缓存对象赋值更新的方式，entry优化为延迟加载公众号、企业微信等的配置模型切换为新独立模型 SessionStorage增加过期判断机制统一依赖和使用的SDK库，简化代码结构公众号对接配置增加加密模式设置项基本使用说明功能大纲

2020-03-31

769

源码地址：https://gitee.com/bingqilinpeishenme/Java-Tutorials 前言上篇文章中，通过代码搭建了Eureka注册中心和客户端，是Eureka的简单应用，在本文中将会讲解更多关于Eureka服务端的应用以及原理。 Eureka 自我保护机制进入自我保护机制的标志【重点】在使用Eureka的过程中，有时候会在Eureka服务端的页面上看到如下的内容：在监控页面上会看到一行红字儿，这些红字儿什么意思呢？代表着Eureka注册中心进入了自我保护机制。什么是自我保护机制【重点】默认情况下，如果Eureka Server在一定时间内没有接受到服务实例的心跳，Eureka将会注销该实例(默认90秒).但是当网络分区发生故障时，微服务客户端和Eureka Server 无法正常通信。以上行为可能变得特别危险了，因为微服务本身是健康的，此时不能注销该服务实例。 Eureka通过自我保护机制来解决这个问题，当Eureka Server在短时间丢失过多的服务实例（可能发生了网络分区的故障），那么Eureka Server进入自我保护模式，一旦进入此...

2020-03-30

635

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。