python 实现汽车之家车型数据爬虫-低调大师

python 实现汽车之家车型数据爬虫

2016-07-08 1157

爬虫保存数据库的样子:

详细数据在json_text字段里面

安装使用方法：

git clone https://github.com/shancang/spider.git 
pip install -r requirements.txt
mysql spider< sql/createTable.sql

修改配置

spider/config.py

# -*- coding: utf-8
#日志----------------------------------------
#日志目录
LOG_DIR= "/tmp/spider"
#日志级别：debug,info,warning,error,critical
LOG_LEVEL = "info"
#process-----------------------------------
#pid 文件
PID_FILE = "/tmp/spider/spider.pid"
#线程数量
THARED_NUMBER = 6
#数据库------------------------------------
DB_USER = "spider"
PASSWORD = "123456"
DB_HOST = "localhost"
PORT = "3306"
DB_NAME = "spider"

进程管理

python setup.py start #启动
python setup.py stop  #停止
python setup.py status # 查看运行状态

具体详细请移步

https://github.com/shancang/spider

代码仅供学习交流，不得做商业使用，不得恶意使用，造成后果请自行负责。

微信关注我们

原文链接：https://blog.51cto.com/sandy521/1812623

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Xtrabackup构建MySQL主从环境

环境：HE3主库，HE1从库 HE1:192.168.1.248 HE3:192.168.1.250 从库my.cnf加入以下参数并重启数据库： read_only=1 log_slave_updates=1（这里推荐开启，从库记录binlog）主库授权备份账户 mysql>grant SELECT,RELOAD,SHOW DATABASES,SUPER,LOCKTABLES,REPLICATION CLIENT,SHOW VIEW,EVENT,FILEon *.* to 'backup'@'localhost' identified by 'MANAGER'; mysql> flush privileges; 主库全库备份 innobackupex --no-timestamp --defaults-file=/etc/my.cnf --user=backup --password=MANAGER --host=192.168.1.250 --port=3306 /databackup/xtrabackup/all-20160328-bak 拷贝主库备份文件到从...

2016-07-08

826

当业务需要大量去连接redis或者hbase的时候，大量的连接会造成socket的大量占用，导致的结果就是服务器没有更多的端口去分配，这种情况下的最好解决方案就是实现客户端连接的单例模式，保持连接永远是同一个。说到这，可能大家没有经历过，如果在每秒钟插入4000条数据的话，这个现象就非常明显了。下面就实现下python实现操作redis+hbase单例模式，有很多改进之处，根据自己业务进行调整，可以通过打印实例的ID进行验证： importhappybase importredis class_RedisMgrSingleton(type): '''redis的单例''' def__init__(self,name,bases,dict): super(_RedisMgrSingleton,self).__init__(name,bases,dict) self._instance={} def__call__(self,host,port,db): ifnotself._instance.has_key((host,port,db)): self._instance[(host,po...

2016-07-08

961

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。