爬虫管理平台 Crawlab v0.5.0 正式发布
前言
本次更新包括几个部分:
-
爬虫市场
-
批量操作
-
数据库底层优化
更新日志
功能 / 优化
-
爬虫市场. 允许用户下载开源爬虫到 Crawlab.
-
批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等.
-
迁移 MongoDB 驱动器至
MongoDriver
. -
重构优化节点逻辑代码.
-
更改默认
task.workers
至 16. -
更改默认 nginx
client_max_body_size
为 200m. -
支持写日志到 ElasticSearch.
-
在 Scrapy 页面展示错误详情.
-
删除挑战页面.
-
将反馈、免责声明页面移动到顶部.
Bug 修复
-
修复由于 TTL 索引未创建导致的日志不过期问题.
-
设置默认日志过期时间为 1 天.
-
task_id
索引没有创建. -
docker-compose.yml
修复. -
修复 404 页面.
-
修复无法先创建工作节点问题.
参考
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
多角度分析平台即服务?PaaS的类型和用例
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 没有适合所有人的单一PaaS。即使云计算已经发展了10多年,但对云计算服务模型的定义仍然相当模糊。通常,PaaS是指具有一系列部署和扩展自动化,应用程序管理和DevOps工具的云托管平台,这些工具可以在共享基础架构或本地运行。此外,PaaS消除了构建和维护基础架构的复杂性。让我们看看PaaS在其用例和支持的技术方面有何不同,以及如何确定哪种将满足特定需求。 让我们仔细从目的、抽象化、功能性几个角度分析平台即服务解决方案。 基于用例的PaaS分类 现在PaaS供应商通过提供专门为特定服务构建的各种工具,为应用程序开发和在云中托管提供了创新的方法。考虑到平台即服务解决方案中托管的用例,我们可以将PaaS产品分为三大类:通用,新兴和专用。 通用平台被广泛选择用于传统的有状态Web和N层应用程序,因此提供了方法来迁移现有工作负载。此外,这种PaaS类型会随着现代技术及时扩展,以满足无状态云原生应用程序和微服务的需求,并有助于开发新的可扩展和容错服务。 新兴的PaaS为市场带来了新的方法。它们通常...
- 下一篇
运营商2G/3G退网或将加速
随着4G覆盖加深,5G商用范围不断扩大,2G、3G技术落后尾大不掉、设备老旧、能耗效率低下、维修困难,占用优质的、黄金频谱资源导致有限的频谱资源未得到充分的利用。 因此,目前全球已有20多家运营商关停了2G网络,不少运营商也正在或计划关停3G网络。 我国工信部也表示:目前2G、3G退网的条件已经逐渐成熟,鼓励运营企业积极引导用户迁移转网,将有限的频率资源和网络资源,用到5G、4G移动通信网络发展当中,整体降低成本。 当然,退网并不是一个文件下来说关就关,这其中涉及最大的问题就是在网用户的迁移,例如:语音、终端、大批量的物联网终端升级更换等问题。GSMA日前发布亚太2G/3G退网经验白皮书,其中指出:通常从最初的决策到完全关闭一般需要三年时间。 我国VoLTE商用步伐以及互通加快,工信部也发出通知推动2G/3G物联网业务迁移转网,三大运营商也在释放退网、清频的信号,2G/3G退网或将加速。 条件成熟:后路切断、前路铺好 近日,3GPP在RAN#88e全体会议上宣布,负责GERAN和UTRAN无线与协议工作的RAN6工作组正式关闭。而RAN6工作组此前一直负责研究2G和3G无线功能,负责定...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7安装Docker,走上虚拟化容器引擎之路