爬虫管理平台 Crawlab v0.4.10 发布-低调大师

爬虫管理平台 Crawlab v0.4.10 发布

2020-04-21 659 89

前言

本次更新包括几个部分：

日志集中管理
自动安装依赖
开放 API
Web Hook
自动生成结果集

更新日志

功能 / 优化

优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.
API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
自动生成结果集. 如果没有设置，自动设置结果集为 results_<spider_name>.
优化项目列表. 项目列表中不展示 "No Project".
升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

无法注册. #670
爬虫定时任务标签 Cron 表达式显示秒. #678
爬虫每日数据缺失. #684
结果数量未即时更新. #689

产品规划

结果展示
- 支持其他数据库
爬虫
- 支持容器爬虫
- 长任务爬虫支持
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
定时任务
- 日历展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
全局
- 热更新

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo
文档: http://docs.crawlab.cn

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

微信关注我们

原文链接：https://www.oschina.net/news/115058/crawlab-0-4-10-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2020-04-21 15:28:00

CUBA Studio 13.2 发布，企业级应用开发平台

大家好，CUBA Studio 13.2 已发布，可以从这里下载最新版，或者直接在IDEA中更新CUBA插件。 CUBA Studio 13.2 是一个重要维护版本，带来大量改进和Bug修复，以下变化值得关注： 1. 增加了对 IDEA 2020.1 的支持 2. 支持安装体验版应用程序扩展 3. 在 Form组件、Table组件及 DataContainer组件的向导中现在可以使用“行内(inline)”视图 4. 对于自定义DB,如果没有找到程序运行所需的DB驱动程序，现在会给出更详细的提示信息 5. 修正了Studio 不能加载自定义 DB 的数据库驱动程序的问题 6. 其它70多项Bug修复或改进详细的Bug修复列表在这里 CUBA Platform 是一款开源且免费的企业级应用开发框架，已有将近10年的发展历史，由俄罗斯的 Haulmont 公司开发。 CUBA Platform 已登陆中国，为中国开发人员提供了中文网站、中文学习资源、中文开发文档以及中文论坛，社区活跃度日益提升。有任何开发问题可访问 ...

637

2020-04-21 00:00:00

研究室秒变后厨，TensorFlow被馋哭！日本团队用深度学习识别炸鸡，救急便当工厂

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！在韩国最受欢迎的外卖食品是什么？答案毋庸置疑，一定是炸鸡！根据韩国外卖订购软件公布的的统计数据显示，炸鸡今年再次当选韩国“最受欢迎的外卖食品”，从2014年起就一直霸占着冠军宝座，简直是小食界难以逾越的高峰。无独有偶，在美国，炸鸡文化也长盛不衰，肯德基双层炸鸡堡唯一不限供应的地区就是美国。根据前德州监狱后厨Brian D.Price回忆，“70%的囚犯最后一餐都会要求吃油炸食品”。那么，炸鸡和TensorFlow两者结合，你又能想到什么？最近，日本一个机器人公司RT CORPORATION开发了一个叫Foodly的机器人，机器人上配置的图像识别系统就是用的TensorFlow，Foodly不仅能准确识别单块和多块炸鸡，还能将刚出锅随意摆放的炸鸡块规整地放在便当盒内。为了完成这个识别功能，研究团队也很拼，每天在实验室现炸鸡块，炸累了点炸鸡外卖，简直就是变成了炸鸡加盟店！ Foodly的开发也很好地贴合了疫情当下便当工厂不能大范围复工的现状，从下图中可以看到，Foodly的大小和...

570

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。