爬虫管理平台 Crawlab v0.4.7 发布-低调大师

爬虫管理平台 Crawlab v0.4.7 发布

2020-02-24 681

前言

本次更新包括几个部分：

更好的支持 Scrapy 爬虫
支持 Git 仓库同步
支持长任务
更好的爬虫管理

更新日志

功能 / 优化

更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435
Git 同步. 允许用户将 Git 项目同步到 Crawlab.
长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425
爬虫列表优化. 分状态任务列数统计，任务列表详情弹出框，图例. 425
版本升级检测. 检测最新版本，通知用户升级.
批量操作爬虫. 允许用户批量运行/停止爬虫任务，以及批量删除爬虫.
复制爬虫. 允许用户复制已存在爬虫来创建新爬虫.
微信群二维码.

Bug 修复

定时任务爬虫选择问题. 字段不会随着爬虫变化而响应.
定时任务冲突问题. 两个不同的爬虫设置定时任务，时间设置成相同的话，可能会有bug. #515 #565
任务日志问题. 在同一时间触发的不同任务可能会写入同一个日志文件. #577
任务列表筛选选项不全.

产品规划

结果展示
- 支持其他数据库
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 可配置爬虫支持转化为自定义爬虫
任务
- 任务重试机制
定时任务
- 日历展示
全局
- 支持版本更新检测
- 支持版本更新日志展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
- 支持 Golang、Java
插件系统

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

微信关注我们

原文链接：https://www.oschina.net/news/113589/crawlab-0-4-7-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

linux入门系列13--磁盘管理之RAID、LVM技术

前一篇文章学习了磁盘分区、格式化、挂载等相关知识，本文将讲解RAID和LVM技术。磁盘管理操作主要是运维人员用的较多，如果只是单纯的开发人员，可以先略过本文。但是在很多小公司里往往都是一人多用，运维、开发通常都是同一个人，因此对个人的技能要求更高。即便不是如此，多了解下相关概念也是有利而无害的。本文将先讲解RAID技术方案相关理论知识并通过案例演示RAID操作，然后演示LVM技术以解决存储资源动态调整问题。一、独立冗余磁盘阵列（RAID） RAID（Redundant Array of Independent Disk）技术把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，利用分散读写技术提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。简单说就是通过RAID技术可以提升磁盘读写性能，同时可以冗余备份数据保证数据可靠性。但是性能和可靠性不可能同时满足的非常好，因此在二者之间作出权衡就产生了不同的RAID方案。 1.1 RAID方案及特点据说目前RAI...

2020-02-24

575

2020年，阿里云推出了全新的第六代云服务器s6实例，阿里云共享标准型s6实例是第六代云服务器，相对比上一代共享型实例xn4、n4、mn4和e4性价比提升明显。相比与突发性能型T5,T6实例，S6是不限制CPU性能，因此，ECS云服务器s6实例是非常适用于一般企业用户及个人用户的一款共享标准型规格，下面我们看下共享标准型实例规格族s6的配置性能及应用场景。 ECS云服务器s6规格特性：相比上一代共享型实例规格族（xn4、n4、mn4和e4），性价比提升处理器：2.5 GHz主频的Intel Xeon Platinum 8269CY（Cascade Lake），睿频3.2 .GHz，计算性能稳定搭配DDR4内存支持1:1、1:2、1:4多种处理器内存配比 I/O优化实例支持ESSD云盘、SSD云盘和高效云盘仅支持专有网络VPC s6实例适用场景：中小型网站和Web应用程序开发环境、构建服务器、代码存储库、微服务、测试和暂存环境等轻量级数据库、缓存轻量级企业应用、综合应用服务 s6实例规格性能参数实例规格 vCPU 内存（GiB）本地存储（GiB）网络基准带宽能力（出/入...

2020-02-24

743

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。