爬虫管理平台 Crawlab v0.4.8 发布
前言
本次更新包括几个部分:
- 支持界面安装(预装)Python 以外的多种语言环境
- 更好的安装界面,可以看到多个节点的安装情况
- 优化 RPC,基于 Redis 延迟队列作为 RPC
- 更多功能配置
更新日志
功能 / 优化
- 支持更多编程语言安装:现在用户可以安装或预装更多的编程语言,包括 Java、.Net Core、PHP.
- 安装 UI 优化:用户能够更好的查看和管理节点列表页的安装.
- 更多 Git 支持:允许用户查看 Git Commits 记录,并 Checkout 到相应 Commit.
- 支持用 Hostname 作为节点注册类型:用户可以将 hostname 作为节点的唯一识别号.
- RPC 支持:加入 RPC 支持来更好的管理节点通信.
- 是否在主节点运行开关:用户可以决定是否在主节点运行,如果为否,则所有任务将在工作节点上运行.
- 默认禁用教程
- 加入相关文档侧边栏
- 加载页面优化
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 可配置爬虫支持转化为自定义爬虫
- 任务
- 任务重试机制
- 定时任务
- 日历展示
- 全局
- 支持版本更新日志展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 插件系统
参考
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
大数据:分享大数据之基础语法
大数据:分享大数据之基础语法1 计算机理论介绍 2 编程基础--进制分类、进制转换 进制 就是进位制。指的是我们来表示一个数字的时候进位的制度。 进制分类 计算机中,常用的进制有以下几种: 进制 描述 示例 备注 二进制 使用0和1来描述所有的自然数 0, 1, 10, 11, 100, 101 使用0b开头 八进制 使用0-7来描述所有的自然数 4, 5, 6, 7, 10, 11, 12 使用0开头 十进制 使用0-9来描述所有的自然数 6, 7, 8, 9, 10, 11, 12 十六进制 使用0-9, a-f来描述所有的自然数 9, A, B, C, D, E, F, 10 使用0x开头 进制转换 十进制转其他进制 辗转相除法,用数字除进制,再用商除进制,一直到商为零结束,最后将每一步得到的余数倒着连接 其他进制转十进制 每一位的数字乘进制的位数-1次方,再将所有的结果累加到一起 二进制与八进制之间的相互转换 每一个八进制位可以等价替换成三个二进制位 每一个十六进制位可以等价替换成四个二进制位 原码、反码、补码 正数 负数 原码 由数字直接计算出的二进制表示形式 最高位表示符号...
- 下一篇
【云栖号案例 | 交通&物流】安鲜达传统生产企业建站案例
云栖号案例库:【点击查看更多上云案例】不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 安鲜达(菜鸟冷链)是全国性冷链物流品牌,依托于“线上+线下+新零售”全渠道业务布局及食品供应链优势,提升配送时效,保障服务质量,从而提升消费者服务体验。 业务痛点 作为传统行业,我们公司并没有配备专业的技术人员,组建专业的技术团队成本太高,部署、实施、维护都是摆在眼前的难题。 因之前没有专业的建站经验,网站如何设计,如何更符合时下流行的布局风格等都是不可控因素。 网站上线后如何运营,更新和维护的问题都是传统行业搭建对外线上展窗口的难点。 解决方案 技术上,我们的网站全面构建在“云”架构上,网站稳定、打开快。 服务上,有专门的设计师1对1为我们服务。与之前相比,这一次阿里云的设计师先给我们搭建网站框架,再为我们进行设计美化,不仅设计新颖大胆,效率很高。 网站安全方面, 我们的新官网部署了SSL证书,全面实现了HTTPS,安全上可谓“突飞猛进”。 上云价值 我们是一家传统企业,以往并没有意识到将业务移植到互联网上。但是在现在这个互联网时代,没有一个网站相当于...
相关文章
文章评论
共有0条评论来说两句吧...