Scrapy 2.13.4 发布，Python 爬虫框架-低调大师

Scrapy 2.13.4 发布，Python 爬虫框架

2025-11-18 61

Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。它也可以用于广泛的目的，从数据挖掘、监控到自动测试等。

Scrapy 2.13.4 现已发布，具体更新内容包括：

Security bug fixes

针对使用br和deflate方法压缩的响应，HttpCompressionMiddleware增强了对解压 bombs 的防护机制：若单个压缩块解压后可能超过响应大小限制（参见DOWNLOAD_MAXSIZE），则不再执行解压操作。此机制对能实现超高压缩率的br (Brotli) 方法尤为关键。更多详情请参阅 CVE-2025-6176 和 GHSA-2qfp-q593-8484 安全公告。（issue 7134）

Modified requirements

可选brotli包的最低支持版本现已为 1.2.0.（issue 7134）
brotlicffi和brotlipy软件包已不再用于解压缩 Brotli 压缩的响应。改用brotli 软件包。（issue 7134）

Other changes

限制了支持的 Twisted 最高版本25.5.0，因为 Scrapy 目前使用了一些在后续 Twisted 版本中已更改的私有 API。（issue 7142）
停止在测试中设置COVERAGE_CORE环境变量，该变量虽无实际效果却会导致coverage模块产生警告或错误。（issue 7137）
移除了文档构建对已弃用 sphinx-hoverxref模块的依赖。（issue 6786，issue 6922）

详情可查看：https://docs.scrapy.org/en/latest/news.html#scrapy-2-13-4-2025-11-17

微信关注我们

原文链接：https://www.oschina.net/news/384271/scrapy-2-13-4-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IntelliJ IDEA 2025.3 全面拥抱 Spring 7

自项目早期里程碑以来，IntelliJ IDEA 团队一直与 Spring Framework 团队紧密合作，确保无缝集成与可靠的工具支持。“我们衷心感谢他们的协作、真知灼见和早期反馈——没有他们的帮助和专业知识，此次版本发布将无从谈起。” 官方表示，Spring 7 已实现在IntelliJ IDEA 2025.3 中的开箱即用。 REST API 版本控制 Spring 7终于引入了内置的一流版本机制。现在你可以在映射注解中直接定义版本： @GetMapping(path = "/quote", version = "1.0+") ResponseEntity<Quote> getQuote() { Quote result = quoteService.getRandomQuote(); return ResponseEntity.ok(result); } IntelliJ IDEA 会自动检测版本控制。IDE 会检查你的应用是否配置了版本控制，识别你使用的是属性还是ApiVersionConfigurer类，如果出现问题还会发出警告。如...

2025-11-18

100

前言 loveqq-framework 作为网关框架使用时，修改响应体是一个十分常见的需求。而作为一个使用过 spring gateway 的作者，我觉得 spring gateway 中修改响应体实在是复杂，因此 loveqq 框架在实现修改响应体时，则力求简洁易用。如何实现？ loveqq 框架修改响应体是基于网关过滤器（GatewayFilter）实现的，因此要实现修改响应体只需两步： 1、自定义网关过滤器 2、给指定的路由配置这个过滤器下面给出相应的示例：网关过滤器： /** * 这里手动设置 bean name 为：FormatResponseBody * 后面配置时会用到，当然自动生成的也可以，只是名称比较长而已 * <p> * 注意：这里设置过滤器优先级为最低级别，因为需要转发请求之后才能获取下游响应体，而转发过滤器默认的级别比较低 */ @Order(Integer.MAX_VALUE) @Component("FormatResponseBody") public static class FormatResponseBodyG...

2025-11-18

78

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。