Scrapy 2.13.4 发布，Python 爬虫框架-低调大师

Scrapy 2.13.4 发布，Python 爬虫框架

2025-11-18 34

Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。它也可以用于广泛的目的，从数据挖掘、监控到自动测试等。

Scrapy 2.13.4 现已发布，具体更新内容包括：

Security bug fixes

针对使用br和deflate方法压缩的响应，HttpCompressionMiddleware增强了对解压 bombs 的防护机制：若单个压缩块解压后可能超过响应大小限制（参见DOWNLOAD_MAXSIZE），则不再执行解压操作。此机制对能实现超高压缩率的br (Brotli) 方法尤为关键。更多详情请参阅 CVE-2025-6176 和 GHSA-2qfp-q593-8484 安全公告。（issue 7134）

Modified requirements

可选brotli包的最低支持版本现已为 1.2.0.（issue 7134）
brotlicffi和brotlipy软件包已不再用于解压缩 Brotli 压缩的响应。改用brotli 软件包。（issue 7134）

Other changes

限制了支持的 Twisted 最高版本25.5.0，因为 Scrapy 目前使用了一些在后续 Twisted 版本中已更改的私有 API。（issue 7142）
停止在测试中设置COVERAGE_CORE环境变量，该变量虽无实际效果却会导致coverage模块产生警告或错误。（issue 7137）
移除了文档构建对已弃用 sphinx-hoverxref模块的依赖。（issue 6786，issue 6922）

详情可查看：https://docs.scrapy.org/en/latest/news.html#scrapy-2-13-4-2025-11-17

微信关注我们

原文链接：https://www.oschina.net/news/384271/scrapy-2-13-4-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IntelliJ IDEA 2025.3 全面拥抱 Spring 7

自项目早期里程碑以来，IntelliJ IDEA 团队一直与 Spring Framework 团队紧密合作，确保无缝集成与可靠的工具支持。“我们衷心感谢他们的协作、真知灼见和早期反馈——没有他们的帮助和专业知识，此次版本发布将无从谈起。” 官方表示，Spring 7 已实现在IntelliJ IDEA 2025.3 中的开箱即用。 REST API 版本控制 Spring 7终于引入了内置的一流版本机制。现在你可以在映射注解中直接定义版本： @GetMapping(path = "/quote", version = "1.0+") ResponseEntity<Quote> getQuote() { Quote result = quoteService.getRandomQuote(); return ResponseEntity.ok(result); } IntelliJ IDEA 会自动检测版本控制。IDE 会检查你的应用是否配置了版本控制，识别你使用的是属性还是ApiVersionConfigurer类，如果出现问题还会发出警告。如...

2025-11-18

54

前言 loveqq-framework 作为网关框架使用时，修改响应体是一个十分常见的需求。而作为一个使用过 spring gateway 的作者，我觉得 spring gateway 中修改响应体实在是复杂，因此 loveqq 框架在实现修改响应体时，则力求简洁易用。如何实现？ loveqq 框架修改响应体是基于网关过滤器（GatewayFilter）实现的，因此要实现修改响应体只需两步： 1、自定义网关过滤器 2、给指定的路由配置这个过滤器下面给出相应的示例：网关过滤器： /** * 这里手动设置 bean name 为：FormatResponseBody * 后面配置时会用到，当然自动生成的也可以，只是名称比较长而已 * <p> * 注意：这里设置过滤器优先级为最低级别，因为需要转发请求之后才能获取下游响应体，而转发过滤器默认的级别比较低 */ @Order(Integer.MAX_VALUE) @Component("FormatResponseBody") public static class FormatResponseBodyG...

2025-11-18

50

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。