上回写到一半临时有事，竟然没有保存到！！！。这几天也是因为家人过来玩。。我也不知道写到哪儿了。我发现狗东这个奸贼很多数据是请求请求再请求，然后才拿到我们看到的数据显示上去的。我尝试了一下找齐这个数据确实有点头疼（我有查到可以用一个东西模拟浏览器去得到我们最终的页面，但是本着练习为主的思想，先不搞这么无脑的东西）。
所以我们暂时先战略性放弃扒狗东。容我再找个好扒一点网站。下面是现在的代码。
这里给出一个BeautifulSoup的文档链接，是中文的，很好懂： BeautifulSoup中文文档
emmmm我们先上京东找个好看的模特: 恋裳蒂莎2018夏季夜场小女人性感后开叉包臀连衣裙紧身诱人主播超短裙 黑色 S
根据我现在的代码，我应该是封装了一下之前的代码，然后已经爬了商品的id、名称和类目。
目录。我不太懂规范的python项目是什么样的。我是在test目录下中测试一些第三方库的api
![]()
app.py
import urllib.request
from bs4 import BeautifulSoup
header = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
# 因为有时候得到的是一段 json 或者别的数据，有时候是html，所以我们单纯地先获取数据
def get_data(url, headers=header, charset="utf-8"):
req = urllib.request.Request(url=url, headers=headers)
rep = urllib.request.urlopen(req)
data = rep.read()
return data.decode(encoding=charset)
# 如果是个html我们就可以用BeautifulSoup解析
def get_soup(url, headers=header, charset="utf-8"):
data = get_data(url=url, headers=headers, charset=charset)
return BeautifulSoup(data, "html.parser")
jd.py
from scrapy import app
import re
header = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
# 'Referer': 'https://item.jd.com/10671563387.html'
}
url = "https://item.jd.com/27934623028.html"
soup = app.get_soup(url, header, "gbk") # 获取BeautifulSoup对象
pid = re.search("[0-9]+", url).group() # 用正则筛选id
print("商品id：", pid)
title = soup.find("div", class_="sku-name").string.strip() # 爬商品名称
print("商品名称：", title)
page_config = soup.find("script", {"charset": "gbk"}).string
cat = re.search("(?<=cat:\s\[)[,0-9]*(?=\])", page_config).group() # 用正则匹配到商品类目
print("category: ", cat)
控制台输出。说明是可以爬到这些的
![]()
