21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存
注意：数据保存的操作都是在pipelines.py文件里操作的
将数据保存为json文件
spider是一个信号检测
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline #导入图片下载器模块
import codecs
import json
class AdcPipeline(object): #定义数据处理类，必须继承object
def __init__(self):
self.file = codecs.open('shuju.json', 'w', encoding='utf-8') #初始化时打开json文件
def process_item(self, item, spider): #process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yield item 来的数据对象
# print('文章标题是：' + item['title'][0])
# print('文章缩略图url是：' + item['img'][0])
# print('文章缩略图保存路径是：' + item['img_tplj']) #接收图片下载器填充的，图片下载后的路径
#将数据保存为json文件
lines = json.dumps(dict(item), ensure_ascii=False) + '\n' #将数据对象转换成json格式
self.file.write(lines) #将json格式数据写入文件
return item
def spider_closed(self,spider): #创建一个方法继承spider，spider是一个信号，当前数据操作完成后触发这个方法
self.file.close() #关闭打开文件
class imgPipeline(ImagesPipeline): #自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类
def item_completed(self, results, item, info): #使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径
for ok, value in results:
img_lj = value['path'] #接收图片保存路径
# print(ok)
item['img_tplj'] = img_lj #将图片保存路径填充到items.py里的字段里
return item #将item给items.py 文件的容器函数
#注意：自定义图片下载器设置好后，需要在
将数据保存到数据库
我们使用一个ORM框架sqlalchemy模块，保存数据
数据库操作文件
#!/usr/bin/env python
# -*- coding:utf-8 -*-
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column
from sqlalchemy import Integer, String, TIMESTAMP
from sqlalchemy import ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine
#配置数据库引擎信息
ENGINE = create_engine("mysql+pymysql://root:279819@127.0.0.1:3306/cshi?charset=utf8", max_overflow=10, echo=True)
Base = declarative_base() #创建一个SQLORM基类
class SendMsg(Base): #设计表
__tablename__ = 'sendmsg'
id = Column(Integer, primary_key=True, autoincrement=True)
title = Column(String(300))
img_tplj = Column(String(300))
def init_db():
Base.metadata.create_all(ENGINE) #向数据库创建指定表
def drop_db():
Base.metadata.drop_all(ENGINE) #向数据库删除指定表
def session():
cls = sessionmaker(bind=ENGINE) #创建sessionmaker类,操作表
return cls()
# drop_db() #删除表
# init_db() #创建表pipelines.py文件
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline #导入图片下载器模块
from adc import shujuku as ORM #导入数据库文件
class AdcPipeline(object): #定义数据处理类，必须继承object
def __init__(self):
ORM.init_db() #创建数据库表
def process_item(self, item, spider): #process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yield item 来的数据对象
print('文章标题是：' + item['title'][0])
print('文章缩略图url是：' + item['img'][0])
print('文章缩略图保存路径是：' + item['img_tplj']) #接收图片下载器填充的，图片下载后的路径
mysq = ORM.session()
shuju = ORM.SendMsg(title=item['title'][0], img_tplj=item['img_tplj'])
mysq.add(shuju)
mysq.commit()
return item
class imgPipeline(ImagesPipeline): #自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类
def item_completed(self, results, item, info): #使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径
for ok, value in results:
img_lj = value['path'] #接收图片保存路径
# print(ok)
item['img_tplj'] = img_lj #将图片保存路径填充到items.py里的字段里
return item #将item给items.py 文件的容器函数
#注意：自定义图片下载器设置好后，需要在【转载自：http://www.lqkweb.com】
