爬虫管理平台 Crawlab v0.5.0 正式发布-低调大师

爬虫管理平台 Crawlab v0.5.0 正式发布

2020-07-19 633

前言

本次更新包括几个部分：

爬虫市场
批量操作
数据库底层优化

更新日志

功能 / 优化

爬虫市场. 允许用户下载开源爬虫到 Crawlab.
批量操作. 允许用户与 Crawlab 批量交互，例如批量运行任务、批量删除爬虫等等.
迁移 MongoDB 驱动器至 MongoDriver.
重构优化节点逻辑代码.
更改默认 task.workers 至 16.
更改默认 nginx client_max_body_size 为 200m.
支持写日志到 ElasticSearch.
在 Scrapy 页面展示错误详情.
删除挑战页面.
将反馈、免责声明页面移动到顶部.

Bug 修复

修复由于 TTL 索引未创建导致的日志不过期问题.
设置默认日志过期时间为 1 天.
task_id 索引没有创建.
docker-compose.yml 修复.
修复 404 页面.
修复无法先创建工作节点问题.

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

微信关注我们

原文链接：https://www.oschina.net/news/117304/crawlab-0-5-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

多角度分析平台即服务？PaaS的类型和用例

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！没有适合所有人的单一PaaS。即使云计算已经发展了10多年，但对云计算服务模型的定义仍然相当模糊。通常，PaaS是指具有一系列部署和扩展自动化，应用程序管理和DevOps工具的云托管平台，这些工具可以在共享基础架构或本地运行。此外，PaaS消除了构建和维护基础架构的复杂性。让我们看看PaaS在其用例和支持的技术方面有何不同，以及如何确定哪种将满足特定需求。让我们仔细从目的、抽象化、功能性几个角度分析平台即服务解决方案。基于用例的PaaS分类现在PaaS供应商通过提供专门为特定服务构建的各种工具，为应用程序开发和在云中托管提供了创新的方法。考虑到平台即服务解决方案中托管的用例，我们可以将PaaS产品分为三大类：通用，新兴和专用。通用平台被广泛选择用于传统的有状态Web和N层应用程序，因此提供了方法来迁移现有工作负载。此外，这种PaaS类型会随着现代技术及时扩展，以满足无状态云原生应用程序和微服务的需求，并有助于开发新的可扩展和容错服务。新兴的PaaS为市场带来了新的方法。它们通常...

2020-07-19

572

随着4G覆盖加深，5G商用范围不断扩大，2G、3G技术落后尾大不掉、设备老旧、能耗效率低下、维修困难，占用优质的、黄金频谱资源导致有限的频谱资源未得到充分的利用。因此，目前全球已有20多家运营商关停了2G网络，不少运营商也正在或计划关停3G网络。我国工信部也表示：目前2G、3G退网的条件已经逐渐成熟，鼓励运营企业积极引导用户迁移转网，将有限的频率资源和网络资源，用到5G、4G移动通信网络发展当中，整体降低成本。当然，退网并不是一个文件下来说关就关，这其中涉及最大的问题就是在网用户的迁移，例如：语音、终端、大批量的物联网终端升级更换等问题。GSMA日前发布亚太2G/3G退网经验白皮书，其中指出：通常从最初的决策到完全关闭一般需要三年时间。我国VoLTE商用步伐以及互通加快，工信部也发出通知推动2G/3G物联网业务迁移转网，三大运营商也在释放退网、清频的信号，2G/3G退网或将加速。条件成熟：后路切断、前路铺好近日，3GPP在RAN#88e全体会议上宣布，负责GERAN和UTRAN无线与协议工作的RAN6工作组正式关闭。而RAN6工作组此前一直负责研究2G和3G无线功能，负责定...

2020-07-19

595

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。