搜索[爬虫框架]结果-低调大师优秀个人博客

精选列表

搜索[爬虫框架]，共10000篇文章

用 Bright Data 搭稳定的 Agent 爬虫

之前有个需求要爬取某BOSS直聘的岗位信息，我在Cursor 里让 Agent 去执行，它兴冲冲写出一堆 CSS 选择器，跑通了。过了一段时间，官方页面改了一个 class，整段 pipeline 直接归零，无力回天。

2026-08-21

企业级云爬虫架构中的代理IP池设计：高可用与自动扩容实现

本文针对企业分布式爬虫最痛的IP批量封禁、资源忽多忽少、故障人工兜底、成功率不稳定四大问题，给出可直接部署的分层架构、Redis数据结构、健康检测代码、自动扩容判定逻辑、生产阈值参数。

2026-08-18

从"爬虫"到"Agent"——下一代AI搜索引擎的技术栈重构

Lucene：开源全文检索引擎，其FST压缩的倒排索引和BM25打分是古典搜索架构的基石

2026-08-11

Python 爬虫实战：抓取汽车之家二手车成交价格与里程数据

二手车是典型的非标品：同一款车，因为上牌年份、行驶里程、所在城市、车况等级不同，价格能差出好几万。汽车之家二手车（che168.com）聚合了全国大量真实成交记录，是做残值率分析、定价模型、区域行情监控最省钱的公开数据源。

2026-08-06

如何设计一套高可用的爬虫任务队列，保证断点续爬与故障转移？

这篇文章解决的问题是：你的爬虫跑到一半机器挂了，或者代理 IP 突然大面积失效，怎么保证任务不丢、不重、能从上次断的地方接着爬。

2026-07-23

Python爬虫解决跨境网页访问受限问题：境外站点代理适配与合规请求实战

摘要：在日淘跨境爬虫开发中，绝大多数开发者都会遇到「境外网页无法访问、链接访问失败、区域拦截」问题，这也是本地调试报错、线上采集失效的核心原因。

2026-07-20

爬虫避坑实战｜Python解决日系站点Cookie过期、签名参数失效长期适配方案

长期维护日本电商爬虫的开发者都会遇到一个高频疑难问题：Cookie短期过期、请求签名参数动态刷新、固定Headers参数隔天失效。

2026-07-17

爬虫遇到头疼的验证码？Python实战讲解弹窗处理和验证码识别

本文含 3321 字， 9 代码片段建议阅读 8 分钟前言在我们写爬虫的过程中，目标网站常见的干扰手段就是设置验证码等，本就将基于Selenium实战讲解如何处理弹窗和验证码，爬取的目标网站为某仪器预约平台

2020-07-28

如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例

前几天给大家分享了利用Python网络爬虫抓取微信朋友圈的动态（上）和利用Python网络爬虫爬取微信朋友圈动态——附代码（下），并且对抓取到的数据进行了Python词云和wordart可视化，感兴趣的伙伴可以戳这篇文章

2018-05-19

王者程序员整理的Python网络爬虫和web的系统学习路线图

相信小伙伴们都知道，目前Python主打的两个方向：其一是网络爬虫，其二是web开发。如果将这两者完美的结合起来，可以说是天作之合。

2018-03-02

介绍 Lazy Jpa 是 lazy orm 框架衍生出类似 Spring JPA 框架

介绍Lazy Jpa 是lazy orm框架衍生出类似Spring JPA 框架非Spring项目使用安装 <dependency> <groupId>top.wu2020groupId

2024-05-16

Jmix 框架 1.5.0 版本发布 - 企业级少代码快速开发框架

Jmix 快速开发框架 1.5.0 版本发布，这次发布主要包含了 Flow UI 的大量新功能和许多改进，推荐升级：主要新功能： - Flow UI 增加了新组件：标签页、复选下拉框、文件上传、图片

2023-03-14

【我们一起写框架】MVVM的WPF框架（一）—序篇

关于框架回到写框架这件事。在我看来，写框架这件事是个程序员都能干。但写的好坏就另说了，所以写框架这件事还是与经验挂钩的。在我的认知中，技术视野相对更高，技术范围更广的人写的框架会更好。

2018-09-02

[android]AndroidInject框架——我的第一个android小型框架

作为一个移动应用开发者，随着需求的日益增多，Android项目的越来越臃肿，代码量越来越大，现在冷静下来回头看看我们的代码，有多少代码跟业务逻辑没什么关系的所以，本人自不量力，在github上建了个开源项目，希望能一定程度地简化我的代码-。- 现在第一个版本完成，希望有兴趣的朋友能加入一起完善。本人才疏学浅，代码中有写得不妥的地方希望大家不吝赐教哈！ github地址： https://github.com/wangjiegulu/androidInject androidInject_1.0.jar： http://pan.baidu.com/s/1rcSiy 主要的思想就是通过注解的方式，把我们要做的事情直接注入进来给我们，“不是我去调用对象，而是对象自己来找我” 现在刚写完了10个注解： @AINoTitle， @AIFullScreen， @AILayout， @AIView， @AIBean， @AISystemService， @AIClick， @AIItemClick， @AILongClick， @AIItemLongClick 使用方法如下： Activity中使用： View Code Fragment中使用： View Code 具体注解如下： @AINoTitle: 类注解, 只适用于Activity(需继承于AIActivity), 设置Activity不显示Title @AIFullScreen: 类注解, 只适用于Activity(需继承于AIActivity), 设置Activity全屏 @AILayout: 类注解 value[int]: 用于设置该Activity的布局 ---- setContentView(resId); @AIView: 属性注解 id[int]: 用于绑定控件 ---- findViewById(resId);(default identifier[R.id.{field name}] if did not set id) clickMethod[String]: 用于设置控件点击事件的回调方法, 可选, 方法名称任意, 参数必须为(View view) longClickMethod[String]: 用于设置控件长按的回调方法, 可选, 方法名任意, 参数必须为(View view) itemClickMethod[String]: 用于设置控件item点击的回调方法, 可选, 方法名任意, 参数必须为(AdapterView, View, int, long) itemLongClickMethod[String]: 用于设置控件item长按的回调方法, 可选, 方法名任意, 参数必须为(AdapterView, View, int, long) @AIBean: 属性注解, 为该属性生成一个对象并注入, 该对象必须有个默认的不带参数的构造方法 @AISystemService: 属性注解，为该属性注入系统服务对象 @AIClick: 方法注解 value[int[], 所要绑定控件的id]: 用于绑定控件点击事件的回调方法, 方法名称任意, 参数必须为(View view) @AIItemClick: 方法注解 value[int[], 所要绑定控件的id]: 用于绑定控件item点击事件的回调方法, 方法名称任意, 参数必须为(AdapterView, View, int, long) @AILongClick: 方法注解 value[int[], 所要绑定控件的id]: 用于绑定控件长按事件的回调方法, 方法名称任意, 参数必须为(View view) @AIItemLongClick: 方法注解 value[int[], 所要绑定控件的id]: 用于绑定控件item长按事件的回调方法, 方法名称任意, 参数必须为(AdapterView, View, int, long) 本文转自天天_byconan博客园博客，原文链接：http://www.cnblogs.com/tiantianbyconan/p/3459139.html ，如需转载请自行联系原作者

2017-10-24

腾讯云服务器部署分布式爬虫对接代理IP实现百万级数据采集方案

本方案基于腾讯云服务器，搭建分布式爬虫集群与动态代理IP池，解决单机爬虫限速、IP封禁、采集量有限等问题，稳定实现百万级数据采集。

2026-08-12

Cloudflare 重构 AI 爬虫管控，从一键拦截到三段式分类

Cloudflare 宣布彻底重构 AI 爬虫管控体系。

2026-07-28

深入内存优化：如何防止分布式爬虫在长时运行中导致的内存暴涨？

重启，跑了一个小时，又炸了。看 Grafana 曲线，内存像楼梯一样一格格往上走，中间偶尔 GC 回落一点，但总体趋势是不回头地涨。我盯着那条曲线看了十分钟，心想：又来了。

2026-07-22

Univer Clipsheet 是一款什么样的 Chrome 爬虫开源插件?

Clipsheet是一款完全开源的Chrome爬虫插件, 通过易用的交互界面以所见即所得的方式，快速的从页面中采集到你想要的表格，且可以通过简单配置将采集工作自动化。

2025-01-11

Python爬虫入门教程 40-100 博客园Python相关40W博客抓取 scrapy

爬前叨叨第40篇博客吹响号角，爬取博客园博客~本文最终抓取到了从2010年1月1日到2019年1月7日的37W+文章，后面可以分析好多东西了呢经常看博客的同志知道，博客园每个栏目下面有200页，多了的数据他就不显示了，最多显示4000篇博客如何尽可能多的得到博客数据，是这篇文章研究的一点点核心内容，能√get到多少就看你的了~ 单纯的从每个栏目去爬取是不显示的，转换一下思路，看到搜索页面，有时间~，有时间！注意看URL链接 https://zzk.cnblogs.com/s/blogpost?Keywords=python&datetimerange=Customer&from=2019-01-01&to=2019-01-01 这个链接得到之后，其实用一个比较简单的思路就可以获取到所有python相关的文章

2019-05-22

Python爬虫入门教程 39-100 天津市科技计划项目成果库数据抓取 scrapy

爬前叨叨缘由今天本来没有打算抓取这个网站的，无意中看到某个微信群有人问了一嘴这个网站，想看一下有什么特别复杂的地方，一顿操作下来，发现这个网站除了卡慢，经常自己宕机以外，好像还真没有什么特殊的.... 爬取网址 http://cgk.kxjs.tj.gov.cn/navigation.do 有很明显的分页表示列表如下 Request URL: http://cgk.kxjs.tj.gov.cn/navigation.do Request Method: POST 参数说明,里面两个比较重要的 pageNum 页码，numPerPage 每页显示的数据 trades: fields: enterprise_type: archive_year: hsql: searchKey: pageNum: 2 numPerPage: 25

2019-05-21

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。