【Python】从0开始写爬虫——小试身手-低调大师

【Python】从0开始写爬虫——小试身手

2018-07-29 655

先写个demo获取数据，我不会做太多介绍，基本上都会写在注释里。

header 的数据一般就是在浏览器的调试工具里，有的网站访问需要登陆，就要加cookie。像Chrome的调试工具快捷键是F12. 去到新浪首页，按F12调出开发者工具，然后刷新。在Network下拉到最上面就能看到一开始的请求信息（我之前是做java web的，略微会一点。）

import urllib.request

header = {
    'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
}
url = "http://www.sina.com"

request = urllib.request.Request(url=url, headers=header)  # url为爬取的链接，headers主要是假装我们不是爬虫，现在我们就假装我们是个Chrome浏览器

response = urllib.request.urlopen(request)  # 请求数据

data = response.read()  # 读取返回的数据

data.decode("UTF-8")  # 设置字符格式为utf-8，可以处理中文

然后控制台会打印出一段html，就是新浪的首页，数据太多就不发了，发一部分截图。

然后我们用BeautifulSoup试着解析一下。

先导入BeautifulSoup，一般都是加在最上面

import urllib.request
from bs4 import BeautifulSoup

然后在最后面把 print(data) 那句去掉加上

soup = BeautifulSoup(data, "html.parser")  # 把html转换成BeautifulSoup对象，这样我们就可以用BeautifulSoup的方法来解析html

print(soup)  # 打印

控制台输出如下

然后我们可以

print(soup.title)  # 打印标题

print(soup.find_all("a"))  # 打印所有a标签

控制台输出，因为find_all("a") 会找出所有的a标签，所以输出很多

现在就得去了解BeautifulSoup更多的知识，以便我们能更加快速得获取我们想要得信息。

忘了贴一下完整的代码

import urllib.request
from bs4 import BeautifulSoup

header = {
    'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
url = "http://www.sina.com"

request = urllib.request.Request(url=url, headers=header)  # url为爬取的链接，headers主要是假装我们不是爬虫，现在我们就假装我们是个Chrome浏览器

response = urllib.request.urlopen(request)  # 请求数据

data = response.read()  # 读取返回的数据

data.decode("UTF-8")  # 设置字符格式为utf-8，可以处理中文

soup = BeautifulSoup(data, "html.parser")  # 把html转换成BeautifulSoup对象，这样我们就可以用BeautifulSoup的方法来解析html

print(soup.title)  # 打印标题

print(soup.find_all("a"))  # 打印所有a标签

微信关注我们

原文链接：https://yq.aliyun.com/articles/629592

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

JavaScript 基础--- (对象)

1、js的String对象 ** 创建String对象 *** var str = "abc"; ** 方法和属性（文档） *** 属性 length：字符串的长度 *** 方法（1）与html相关的方法 - bold()：加粗 - fontcolor(): 设置字符串的颜色 - fontsize(): 设置字体的大小 - link(): 将字符串显示成超链接 **** str4.link("hello.html") - sub() sup(): 下标和上标（2）与java相似的方法 - concat(): 连接字符串 ** //concat方法 <!doctype html> <html lang="en"> <head> <meta charset="UTF-8" /> <title>对象</title> <script> var str1 = "abc"; var str2 = "dfg"; ...

2018-07-29

624

本文首发于我的个人博客：尾尾部落题目描述请实现两个函数，分别用来序列化和反序列化二叉树解题思路对于序列化：使用前序遍历，递归的将二叉树的值转化为字符，并且在每次二叉树的结点不为空时，在转化val所得的字符之后添加一个','作为分割; 对于空节点则以 '#,' 代替。对于反序列化：将字符串按照“，”进行分割，插入到队列中，然后依次从队列中取出字符建立节点，递归创建一个二叉树。参考代码 /* public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val; } } */ import java.util.Queue; import java.util.LinkedList; public class Solution { String Serialize(TreeNode root) { if(root == null){ return "#,"; } StringBuffer res = new...

2018-07-29

588

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。