爬虫管理平台 Crawlab v0.4.10 发布
前言
本次更新包括几个部分:
- 日志集中管理
- 自动安装依赖
- 开放 API
- Web Hook
- 自动生成结果集
更新日志
功能 / 优化
- 优化日志管理. 集中化管理日志,储存在 MongoDB,减少对 PubSub 的依赖,允许日志异常检测.
- 自动安装依赖. 允许从
requirements.txt
和package.json
自动安装依赖. - API Token. 允许用户生成 API Token,并利用它们来集成到自己的系统中.
- Web Hook. 当任务开始或结束时,触发 Web Hook http 请求到预定义好的 URL.
- 自动生成结果集. 如果没有设置,自动设置结果集为
results_<spider_name>
. - 优化项目列表. 项目列表中不展示 "No Project".
- 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
- 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 爬虫
- 支持容器爬虫
- 长任务爬虫支持
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 定时任务
- 日历展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 全局
- 热更新
参考
- Github: https://github.com/crawlab-team/crawlab
- Demo: https://crawlab.cn/demo
- 文档: http://docs.crawlab.cn
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
CUBA Studio 13.2 发布,企业级应用开发平台
大家好,CUBA Studio 13.2 已发布,可以从这里下载最新版,或者直接在IDEA中更新CUBA插件。 CUBA Studio 13.2 是一个重要维护版本,带来大量改进和Bug修复,以下变化值得关注: 1. 增加了对 IDEA 2020.1 的支持 2. 支持安装体验版应用程序扩展 3. 在 Form组件、Table组件及 DataContainer组件的向导中现在可以使用“行内(inline)”视图 4. 对于自定义DB,如果没有找到程序运行所需的DB驱动程序,现在会给出更详细的提示信息 5. 修正了Studio 不能加载自定义 DB 的数据库驱动程序的问题 6. 其它70多项Bug修复或改进 详细的Bug修复列表在这里 CUBA Platform 是一款开源且免费的企业级应用开发框架,已有将近10年的发展历史,由俄罗斯的 Haulmont 公司开发。 CUBA Platform 已登陆中国,为中国开发人员提供了中文网站、中文学习资源、中文开发文档以及中文论坛,社区活跃度日益提升。有任何开发问题可访问 ...
- 下一篇
研究室秒变后厨,TensorFlow被馋哭!日本团队用深度学习识别炸鸡,救急便当工厂
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 在韩国最受欢迎的外卖食品是什么? 答案毋庸置疑,一定是炸鸡! 根据韩国外卖订购软件公布的的统计数据显示,炸鸡今年再次当选韩国“最受欢迎的外卖食品”,从2014年起就一直霸占着冠军宝座,简直是小食界难以逾越的高峰。 无独有偶,在美国,炸鸡文化也长盛不衰,肯德基双层炸鸡堡唯一不限供应的地区就是美国。根据前德州监狱后厨Brian D.Price回忆,“70%的囚犯最后一餐都会要求吃油炸食品”。 那么,炸鸡和TensorFlow两者结合,你又能想到什么? 最近,日本一个机器人公司RT CORPORATION开发了一个叫Foodly的机器人,机器人上配置的图像识别系统就是用的TensorFlow,Foodly不仅能准确识别单块和多块炸鸡,还能将刚出锅随意摆放的炸鸡块规整地放在便当盒内。 为了完成这个识别功能,研究团队也很拼,每天在实验室现炸鸡块,炸累了点炸鸡外卖,简直就是变成了炸鸡加盟店! Foodly的开发也很好地贴合了疫情当下便当工厂不能大范围复工的现状,从下图中可以看到,Foodly的大小和...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境