Scrapy 2.13.4 发布，Python 爬虫框架-低调大师

Scrapy 2.13.4 发布，Python 爬虫框架

2025-11-18 17

Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。它也可以用于广泛的目的，从数据挖掘、监控到自动测试等。

Scrapy 2.13.4 现已发布，具体更新内容包括：

Security bug fixes

针对使用br和deflate方法压缩的响应，HttpCompressionMiddleware增强了对解压 bombs 的防护机制：若单个压缩块解压后可能超过响应大小限制（参见DOWNLOAD_MAXSIZE），则不再执行解压操作。此机制对能实现超高压缩率的br (Brotli) 方法尤为关键。更多详情请参阅 CVE-2025-6176 和 GHSA-2qfp-q593-8484 安全公告。（issue 7134）

Modified requirements

可选brotli包的最低支持版本现已为 1.2.0.（issue 7134）
brotlicffi和brotlipy软件包已不再用于解压缩 Brotli 压缩的响应。改用brotli 软件包。（issue 7134）

Other changes

限制了支持的 Twisted 最高版本25.5.0，因为 Scrapy 目前使用了一些在后续 Twisted 版本中已更改的私有 API。（issue 7142）
停止在测试中设置COVERAGE_CORE环境变量，该变量虽无实际效果却会导致coverage模块产生警告或错误。（issue 7137）
移除了文档构建对已弃用 sphinx-hoverxref模块的依赖。（issue 6786，issue 6922）

详情可查看：https://docs.scrapy.org/en/latest/news.html#scrapy-2-13-4-2025-11-17

微信关注我们

原文链接：https://www.oschina.net/news/384271/scrapy-2-13-4-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IntelliJ IDEA 2025.3 全面拥抱 Spring 7

自项目早期里程碑以来，IntelliJ IDEA 团队一直与 Spring Framework 团队紧密合作，确保无缝集成与可靠的工具支持。“我们衷心感谢他们的协作、真知灼见和早期反馈——没有他们的帮助和专业知识，此次版本发布将无从谈起。” 官方表示，Spring 7 已实现在IntelliJ IDEA 2025.3 中的开箱即用。 REST API 版本控制 Spring 7终于引入了内置的一流版本机制。现在你可以在映射注解中直接定义版本： @GetMapping(path = "/quote", version = "1.0+") ResponseEntity<Quote> getQuote() { Quote result = quoteService.getRandomQuote(); return ResponseEntity.ok(result); } IntelliJ IDEA 会自动检测版本控制。IDE 会检查你的应用是否配置了版本控制，识别你使用的是属性还是ApiVersionConfigurer类，如果出现问题还会发出警告。如...

2025-11-18

24

loveqq 作为网关框架时如何修改请求体/响应体，和 spring 又有什么区别？

前言 loveqq-framework 作为网关框架使用时，修改响应体是一个十分常见的需求。而作为一个使用过 spring gateway 的作者，我觉得 spring gateway 中修改响应体实在是复杂，因此 loveqq 框架在实现修改响应体时，则力求简洁易用。如何实现？ loveqq 框架修改响应体是基于网关过滤器（GatewayFilter）实现的，因此要实现修改响应体只需两步： 1、自定义网关过滤器 2、给指定的路由配置这个过滤器下面给出相应的示例：网关过滤器： /** * 这里手动设置 bean name 为：FormatResponseBody * 后面配置时会用到，当然自动生成的也可以，只是名称比较长而已 * <p> * 注意：这里设置过滤器优先级为最低级别，因为需要转发请求之后才能获取下游响应体，而转发过滤器默认的级别比较低 */ @Order(Integer.MAX_VALUE) @Component("FormatResponseBody") public static class FormatResponseBodyG...

2025-11-18

13

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。