爬虫管理平台 Crawlab v0.4.8 发布-低调大师

爬虫管理平台 Crawlab v0.4.8 发布

2020-03-11 665

前言

本次更新包括几个部分：

支持界面安装（预装）Python 以外的多种语言环境
更好的安装界面，可以看到多个节点的安装情况
优化 RPC，基于 Redis 延迟队列作为 RPC
更多功能配置

更新日志

功能 / 优化

支持更多编程语言安装：现在用户可以安装或预装更多的编程语言，包括 Java、.Net Core、PHP.
安装 UI 优化：用户能够更好的查看和管理节点列表页的安装.
更多 Git 支持：允许用户查看 Git Commits 记录，并 Checkout 到相应 Commit.
支持用 Hostname 作为节点注册类型：用户可以将 hostname 作为节点的唯一识别号.
RPC 支持：加入 RPC 支持来更好的管理节点通信.
是否在主节点运行开关：用户可以决定是否在主节点运行，如果为否，则所有任务将在工作节点上运行.
默认禁用教程
加入相关文档侧边栏
加载页面优化

Bug 修复

重复节点 #391
重复上传爬虫 #603
节点第三方模块安装失败导致节点安装第三方部分无法使用 #609
离线节点也会创建任务 #622

产品规划

结果展示
- 支持其他数据库
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 可配置爬虫支持转化为自定义爬虫
任务
- 任务重试机制
定时任务
- 日历展示
全局
- 支持版本更新日志展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
- 插件系统

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

微信关注我们

原文链接：https://www.oschina.net/news/114005/crawlab-0-4-8-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据：分享大数据之基础语法

大数据：分享大数据之基础语法1 计算机理论介绍 2 编程基础--进制分类、进制转换进制就是进位制。指的是我们来表示一个数字的时候进位的制度。进制分类计算机中，常用的进制有以下几种: 进制描述示例备注二进制使用0和1来描述所有的自然数 0, 1, 10, 11, 100, 101 使用0b开头八进制使用0-7来描述所有的自然数 4, 5, 6, 7, 10, 11, 12 使用0开头十进制使用0-9来描述所有的自然数 6, 7, 8, 9, 10, 11, 12 十六进制使用0-9, a-f来描述所有的自然数 9, A, B, C, D, E, F, 10 使用0x开头进制转换十进制转其他进制辗转相除法，用数字除进制，再用商除进制，一直到商为零结束，最后将每一步得到的余数倒着连接其他进制转十进制每一位的数字乘进制的位数-1次方，再将所有的结果累加到一起二进制与八进制之间的相互转换每一个八进制位可以等价替换成三个二进制位每一个十六进制位可以等价替换成四个二进制位原码、反码、补码正数负数原码由数字直接计算出的二进制表示形式最高位表示符号...

2020-03-11

570

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司介绍安鲜达（菜鸟冷链）是全国性冷链物流品牌，依托于“线上+线下+新零售”全渠道业务布局及食品供应链优势，提升配送时效，保障服务质量，从而提升消费者服务体验。业务痛点作为传统行业，我们公司并没有配备专业的技术人员，组建专业的技术团队成本太高，部署、实施、维护都是摆在眼前的难题。因之前没有专业的建站经验，网站如何设计，如何更符合时下流行的布局风格等都是不可控因素。网站上线后如何运营，更新和维护的问题都是传统行业搭建对外线上展窗口的难点。解决方案技术上，我们的网站全面构建在“云”架构上，网站稳定、打开快。服务上，有专门的设计师1对1为我们服务。与之前相比，这一次阿里云的设计师先给我们搭建网站框架，再为我们进行设计美化，不仅设计新颖大胆，效率很高。网站安全方面，我们的新官网部署了SSL证书，全面实现了HTTPS，安全上可谓“突飞猛进”。上云价值我们是一家传统企业，以往并没有意识到将业务移植到互联网上。但是在现在这个互联网时代，没有一个网站相当于...

2020-03-11

654

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。