爬虫管理平台 Crawlab v0.4.7 发布-低调大师

爬虫管理平台 Crawlab v0.4.7 发布

2020-02-24 703

前言

本次更新包括几个部分：

更好的支持 Scrapy 爬虫
支持 Git 仓库同步
支持长任务
更好的爬虫管理

更新日志

功能 / 优化

更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435
Git 同步. 允许用户将 Git 项目同步到 Crawlab.
长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425
爬虫列表优化. 分状态任务列数统计，任务列表详情弹出框，图例. 425
版本升级检测. 检测最新版本，通知用户升级.
批量操作爬虫. 允许用户批量运行/停止爬虫任务，以及批量删除爬虫.
复制爬虫. 允许用户复制已存在爬虫来创建新爬虫.
微信群二维码.

Bug 修复

定时任务爬虫选择问题. 字段不会随着爬虫变化而响应.
定时任务冲突问题. 两个不同的爬虫设置定时任务，时间设置成相同的话，可能会有bug. #515 #565
任务日志问题. 在同一时间触发的不同任务可能会写入同一个日志文件. #577
任务列表筛选选项不全.

产品规划

结果展示
- 支持其他数据库
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 可配置爬虫支持转化为自定义爬虫
任务
- 任务重试机制
定时任务
- 日历展示
全局
- 支持版本更新检测
- 支持版本更新日志展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
- 支持 Golang、Java
插件系统

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

微信关注我们

原文链接：https://www.oschina.net/news/113589/crawlab-0-4-7-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

linux入门系列13--磁盘管理之RAID、LVM技术

前一篇文章学习了磁盘分区、格式化、挂载等相关知识，本文将讲解RAID和LVM技术。磁盘管理操作主要是运维人员用的较多，如果只是单纯的开发人员，可以先略过本文。但是在很多小公司里往往都是一人多用，运维、开发通常都是同一个人，因此对个人的技能要求更高。即便不是如此，多了解下相关概念也是有利而无害的。本文将先讲解RAID技术方案相关理论知识并通过案例演示RAID操作，然后演示LVM技术以解决存储资源动态调整问题。一、独立冗余磁盘阵列（RAID） RAID（Redundant Array of Independent Disk）技术把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，利用分散读写技术提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。简单说就是通过RAID技术可以提升磁盘读写性能，同时可以冗余备份数据保证数据可靠性。但是性能和可靠性不可能同时满足的非常好，因此在二者之间作出权衡就产生了不同的RAID方案。 1.1 RAID方案及特点据说目前RAI...

2020-02-24

594

2020年，阿里云推出了全新的第六代云服务器s6实例，阿里云共享标准型s6实例是第六代云服务器，相对比上一代共享型实例xn4、n4、mn4和e4性价比提升明显。相比与突发性能型T5,T6实例，S6是不限制CPU性能，因此，ECS云服务器s6实例是非常适用于一般企业用户及个人用户的一款共享标准型规格，下面我们看下共享标准型实例规格族s6的配置性能及应用场景。 ECS云服务器s6规格特性：相比上一代共享型实例规格族（xn4、n4、mn4和e4），性价比提升处理器：2.5 GHz主频的Intel Xeon Platinum 8269CY（Cascade Lake），睿频3.2 .GHz，计算性能稳定搭配DDR4内存支持1:1、1:2、1:4多种处理器内存配比 I/O优化实例支持ESSD云盘、SSD云盘和高效云盘仅支持专有网络VPC s6实例适用场景：中小型网站和Web应用程序开发环境、构建服务器、代码存储库、微服务、测试和暂存环境等轻量级数据库、缓存轻量级企业应用、综合应用服务 s6实例规格性能参数实例规格 vCPU 内存（GiB）本地存储（GiB）网络基准带宽能力（出/入...

2020-02-24

750

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。