分布式爬虫管理平台 Crawlab v0.6.0 社区版正式发布

2022-05-23 924

概览

作为一个重要版本发布，Crawlab v0.6.0 由一些重大的功能升级组成，包括性能、稳定性、健壮性、易用性方面的大量优化。本次版本将比老版本更加健壮，特别是任务执行、文件同步、节点通信上面。

新版本截图

主页

节点列表页

爬虫列表页

爬虫文件编辑

任务列表

任务日志

任务数据

创建定时任务

Git 日志

依赖安装

爬虫助手插件

自定义列表

更新日志

后端

「文件同步」. 将文件同步从原先的 MongoDB GridFS 迁移到分布式文件系统 SeaweedFS，以提升文件同步和爬虫部署的稳定性和健壮性。
「节点通信」. 将节点通信从原先基于 Redis 套壳的 RPC 迁移到 gRPC。工作节点通过向主节点发起 gRPC 请求来与 MongoDB 数据库间接交互。
「任务队列」. 将任务队列从 Redis 列表迁移到 MongoDB 集合，以提高灵活性，例如优先级队列。
「日志」. 将日志储存迁移到 SeaweedFS，以解决 MongoDB 数据库中的性能问题。
「SDK 集成」. 将结果数据储存从原生 SDK 迁移到了任务处理器集中导入到数据库。
「任务相关」. 将任务相关逻辑抽象为了任务调度器、任务处理器以及任务执行器，以减少系统耦合度，提升可扩展性和可维护性。
「组件化」. 引入依赖注入框架，将模块、服务以及子系统进行模块化。
「插件框架」. 「Crawlab 插件框架 (CPF)」 已发布. 详情请参考这里.
「Git 集成」. Git 集成被作为内置功能.
「Scrapy 集成」. Scrapy 集成以插件形式存在，插件为 spider-assistant.
「依赖集成」. Dependency 集成以插件形式存在，插件为 dependency.
「消息通知」. 消息通知功能以插件形式存在，插件为 notification.

前端

「Vue 3」. 迁移到了最新的前端框架 Vue 3，以支持更高级的功能，例如组合式 API 和 TypeScript。
「UI 框架」. 从之前的 Vue-Element-Admin 迁移到了基于 Vue 3 的 UI 框架 Element-Plus，更多灵活性和功能性。
「高级文件编辑器」. 支持更高级的文件编辑器功能，包括拖砖操作、复制、移动、重命名、删除、文件编辑、代码高亮、导航标签等。
「可自定义表格」. 内置更多高级功能，包括自定义列、批量操作、搜索、过滤、排序等。
「导航标签」. 支持多导航标签查看不同的页面。
「批量创建」. 支持批量创建对象，包括爬虫、项目、定时任务等。
「详情导航」. 详情页里的侧边栏导航。
「更优化的仪表盘」. 主页仪表盘中更多的数据图表。

其他

「文档网站」. 升级文档网站.
「官方插件」. 允许用户在 Crawlab 用户界面上安装官方插件.

未来计划

作为 Crawlab v0.6.x 新版本系列的首发版本，后续将收集新版本的用户反馈，并且进一步优化既有功能以及开发新功能。欢迎大家来试用 Crawlab v0.6.0 社区版，提出您的宝贵意见。

关于旧版本

新版本 Crawlab v0.6.x 从底层架构方面做的根本性的更新，因此将不会兼容旧版本 Crawlab v0.5.x 及以下。如果您已经在使用旧版本，建议迁移少部分爬虫到新版本，做过充分测试之后再做全量迁移。

新版本发布并不意味着开发组将停止更新旧版本 Crawlab v0.5.x，我们将长期维护既有版本 Crawlab v0.5.x 版本系列直到新版本完全稳定以及旧版本用户已大部分迁移到新版本。

后续会提供迁移至新版本的相关文档，请随时关注微信交流社群、官方网站以及官方文档。

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。同时，您也可以加微信 tikazyq1 加入 Crawlab 技术交流群，在技术开发和部署使用上与其他开发者进行交流讨论。

参考

官网: https://www.crawlab.cn
文档: https://docs.crawlab.cn
GitHub: https://github.com/crawlab-team/crawlab
Demo: https://demo-pro.crawlab.cn/

微信关注我们

原文链接：https://www.oschina.net/news/196953/crawlab-0-6-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

EasyGoAdmin 敏捷开发框架 Gin+AntdVue 版本 v1.1.0 发布

v1.1.0 更新内容： 1、升级文件上传功能，解决上传图片跨域的问题，后端服务器跨域处理中间件Header头加入：X-Requested-With； 2、架构优化和升级以及性能优化； 3、修复近期用户反馈的BUG；项目介绍一款 Go 语言基于Gin、Xorm、Vue、AntDesign、MySQL等框架精心打造的一款模块化、插件化、高性能的前后端分离架构敏捷开发框架，可快速搭建前后端分离后台管理系统，本着简化开发、提升开发效率的初衷，框架自研了一套个性化的组件，实现了可插拔的组件式开发方式，同时为了敏捷快速开发，框架特地集成了代码生成器，完全自主研发了自定义GO后端服务模板和前端Vue自定义模板，可以根据已建好的表结构，可以快速的一键生成整个模块的所有代码和增删改查等等功能业务，真正实现了低代码开发方式，极大的节省了人力成本的同时提高了开发效率，缩短了研发周期，是一款真正意义上实现组件化、可插拔式的敏捷开发框架。项目特点模块化、松耦合模块丰富、开箱即用简洁易用、快速接入文档详尽、易于维护自顶向下、体系化设计统一框架、统一组件、降低选择成本开发规范、设计模式、代码分...

2022-05-23

517

v1.0.0 更新内容： 1、基于 SpringBoot2.x、Vue、ElementUI 搭建核心框架； 2、搭建后端服务架构，采用前后端分离多模块的架构设计模式； 3、编写底层工具类库，如Excel导出、短信、邮件等等； 4、编写项目底层基类，包括控制器、模型、服务类、Dto、Vo等等； 5、编写系统权限架构代码，包括用户、角色、菜单等等；项目介绍一款 Java 语言基于 SpringBoot2.x、MybatisPlus、Vue、ElementUI、MySQL等框架精心打造的一款前后端分离框架，致力于实现模块化、组件化、可插拔的前后端分离架构敏捷开发框架，可用于快速搭建前后端分离后台管理系统，本着简化开发、提升开发效率的初衷，目前框架已集成了完整的RBAC权限架构和常规基础模块，前端Vue端支持多主题切换，可以根据自己喜欢的风格选择想一个的主题，实现了个性化呈现的需求；为了敏捷快速开发，提升研发效率，框架内置了一键CRUD代码生成器，自定义了模块生成模板，可以根据已建好的表结构(字段注释需规范)快速的一键生成整个模块的所有代码和增删改查等等功能业务，真正实现了低代码开发，极...

2022-05-23

623

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。