几个非常适合新手练习python爬虫的网页，总有一款能搞定！-低调大师

几个非常适合新手练习python爬虫的网页，总有一款能搞定！

2018-06-05 625

几个非常适合新手练习python爬虫的网页，总有一款能搞定！
话不多说，直接干货了！

头条图集:抓包获取json数据
打开今日头条主页，搜索小姐姐，或者其他你感兴趣的内容，然后点击图集

动态加载的json数据就出来了，没有反爬，注意的是，如果不想去内容里面抓图片的话，可以只抓缩略图，就是这个页面显示的图片，它在json数据中的image_list中，注意，将url中的list换成origin，就是大图哦！代码如下

所有的图片地址都出来了！

全书网：直接源码匹配重点内容相关内容
直接搜索全书网，打开主页，随便找一篇小说，比如《盗墓笔记》，点击后跳转到网页，在点击开始阅读，出现了所有章节，在进入章节就出现了小说内容，网页内容和代码如下：

80电子书：匹配到地址直接下载压缩文件
80电子书网和上面的全书网比较类似，但是它本身提供有下载功能，可以直接用小说Id和名字直接构建下载文件，页面截图和代码：

python学习交流群542110741

其他类似网站

类似的网站还有：妹子图网、美桌网、笔趣阁、久久等等甚至百度图片也可以用抓包获取数据的！

以上代码都是随手写的，没有排版，大家有兴趣可以自己排下版，或者比如小说网站，可以先抓取大类别，然后在每一个类别中获取所有小说，最后在把所有小说的内容抓出来，这样就是全站爬虫了！！！

如果大家还有什么适合的网站，希望能在评论区里共享下哦！大家一起交流下！

微信关注我们

原文链接：https://yq.aliyun.com/articles/639552

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

kafka 0.11x 启动30秒后自动停止，报【另一个程序正在使用此文件，进程无法访问】

环境：kafka_2.11-1.1.0，win7_64，java8 现象：启动30秒后自动停止，报【另一个程序正在使用此文件，进程无法访问】 [2018-06-06 14:32:46,784] INFO [Log partition=myTopic-0, dir=D:\kafka_2.11-1.1.0\kafka-logs] Scheduling log segment [bas eOffset 0, size 1599] for deletion. (kafka.log.Log) [2018-06-06 14:32:46,800] ERROR Error while deleting segments for myTopic-0 in dir D:\kafka_2.11-1.1.0\kafka-logs (kafka .server.LogDirFailureChannel) java.nio.file.FileSystemException: D:\kafka_2.11-1.1.0\kafka-logs\myTopic-0\00000000000000000000.log -&g...

2018-06-06

696

不啰嗦，直接复制工具类 /** * 在windows和linux系统下均可正常使用 * Create by yster@foxmail.com 2018/6/6/006 14:51 */ public class ProjectPath { //获取项目的根路径 public final static String classPath; static { //获取的是classpath路径，适用于读取resources下资源 classPath = Thread.currentThread().getContextClassLoader().getResource("").getPath(); } /** * 项目根目录 */ public static String getRootPath() { return RootPath(""); } /** * 自定义追加路径 */ public static String getRootPath(String u_path) { return RootPath("/" + u_path); } /** * 私有处理方法 */ privat...

2018-06-06

903

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。