爬虫管理平台 Crawlab v0.4.10 发布-低调大师

爬虫管理平台 Crawlab v0.4.10 发布

2020-04-21 676

前言

本次更新包括几个部分：

日志集中管理
自动安装依赖
开放 API
Web Hook
自动生成结果集

更新日志

功能 / 优化

优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.
API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
自动生成结果集. 如果没有设置，自动设置结果集为 results_<spider_name>.
优化项目列表. 项目列表中不展示 "No Project".
升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

无法注册. #670
爬虫定时任务标签 Cron 表达式显示秒. #678
爬虫每日数据缺失. #684
结果数量未即时更新. #689

产品规划

结果展示
- 支持其他数据库
爬虫
- 支持容器爬虫
- 长任务爬虫支持
可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
定时任务
- 日历展示
服务器
- 支持终端操作 Docker 镜像
SDK
- 更多命令支持
全局
- 热更新

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo
文档: http://docs.crawlab.cn

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

微信关注我们

原文链接：https://www.oschina.net/news/115058/crawlab-0-4-10-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CUBA Studio 13.2 发布，企业级应用开发平台

大家好，CUBA Studio 13.2 已发布，可以从这里下载最新版，或者直接在IDEA中更新CUBA插件。 CUBA Studio 13.2 是一个重要维护版本，带来大量改进和Bug修复，以下变化值得关注： 1. 增加了对 IDEA 2020.1 的支持 2. 支持安装体验版应用程序扩展 3. 在 Form组件、Table组件及 DataContainer组件的向导中现在可以使用“行内(inline)”视图 4. 对于自定义DB,如果没有找到程序运行所需的DB驱动程序，现在会给出更详细的提示信息 5. 修正了Studio 不能加载自定义 DB 的数据库驱动程序的问题 6. 其它70多项Bug修复或改进详细的Bug修复列表在这里 CUBA Platform 是一款开源且免费的企业级应用开发框架，已有将近10年的发展历史，由俄罗斯的 Haulmont 公司开发。 CUBA Platform 已登陆中国，为中国开发人员提供了中文网站、中文学习资源、中文开发文档以及中文论坛，社区活跃度日益提升。有任何开发问题可访问 ...

2020-04-21

648

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！在韩国最受欢迎的外卖食品是什么？答案毋庸置疑，一定是炸鸡！根据韩国外卖订购软件公布的的统计数据显示，炸鸡今年再次当选韩国“最受欢迎的外卖食品”，从2014年起就一直霸占着冠军宝座，简直是小食界难以逾越的高峰。无独有偶，在美国，炸鸡文化也长盛不衰，肯德基双层炸鸡堡唯一不限供应的地区就是美国。根据前德州监狱后厨Brian D.Price回忆，“70%的囚犯最后一餐都会要求吃油炸食品”。那么，炸鸡和TensorFlow两者结合，你又能想到什么？最近，日本一个机器人公司RT CORPORATION开发了一个叫Foodly的机器人，机器人上配置的图像识别系统就是用的TensorFlow，Foodly不仅能准确识别单块和多块炸鸡，还能将刚出锅随意摆放的炸鸡块规整地放在便当盒内。为了完成这个识别功能，研究团队也很拼，每天在实验室现炸鸡块，炸累了点炸鸡外卖，简直就是变成了炸鸡加盟店！ Foodly的开发也很好地贴合了疫情当下便当工厂不能大范围复工的现状，从下图中可以看到，Foodly的大小和...

2020-04-21

581

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。