使用Python 2.7中pycurl模块编写探测多节点Web服务质量脚本

pycurl安装与说明

pycurl说明

PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，在PyCURL的主页上介绍的支持的功能有：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!
PycURL 是一个非常快速（参考多并发操作）和丰富完整特性的，但是有点复杂的接口。如果你需要些简单或纯 Python 的模块，你可以参考一下 urllib2 或 urlgrabber 。 PycURL 是对 libcurl 的一个封装，使用时还需要参考 libcurl 的文档（针对 C 的）。

pycurl安装

Mac OS X系统:

#必须要用64位 
sudo env ARCHFLAGS="-arch x86_64" easy_install pycurl

CentOS：可以对外连接Internet的服务器

sudo easy_install pycurl
#或
yum -y install pycurl

也可以使用源码安装，安装完需要配置软链接

注意：若是使用pychram进行编辑该脚本，当安装完成后，import pycurl显示不识别该模块的话，可以查看pycharm配置，或者重新安装pycurl模块。

脚本说明

工作中有时会出现网络延迟导致程序返回数据不及时的问题，这时就需要精准定位机器是在哪个时间段出现了网络延迟的情况。对此，可以通过Python下的pycurl模块来实现定位，它可以通过调用pycurl提供的方法，来探测Web服务质量，比如了解相应的HTTP状态码、请求延时、HTTP头信息、下载速度等，脚本内容如下所示

#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 该脚本可以定位访问web页面的服务质量
# 通过Python下的pycurl模块来实现定位，
# 它可以通过调用pycurl提供的方法，来探测Web服务质量，
# 比如了解相应的HTTP状态码、请求延时、HTTP头信息、下载速度等
# 该脚本应该防止在计划任务中，进行定位
# */30 * * * * /usr/bin/python /root/check_web.py >> /root/myreport.txt 2>&1

import os
import time
import sys
import pycurl

URL = "http://114.115.155.144/wordpress/"
ISOTIMEFORMAT="%Y-%m-%d %X"

c = pycurl.Curl()
c.setopt(pycurl.URL, URL)
c.setopt(pycurl.CONNECTTIMEOUT, 5)
c.setopt(pycurl.TIMEOUT, 5)
c.setopt(pycurl.FORBID_REUSE, 1)
c.setopt(pycurl.MAXREDIRS, 1)
c.setopt(pycurl.NOPROGRESS, 1)
c.setopt(pycurl.DNS_CACHE_TIMEOUT,30)
indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt", "wb")
c.setopt(pycurl.WRITEHEADER, indexfile)
c.setopt(pycurl.WRITEDATA, indexfile)

try:
    c.perform()
except Exception,e:
    print "connecion error：" +str(e)
    indexfile.close()
    c.close()
    sys.exit()
NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME)
CONNECT_TIME = c.getinfo(c.CONNECT_TIME)
PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME)
STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME)
TOTAL_TIME = c.getinfo(c.TOTAL_TIME)
HTTP_CODE = c.getinfo(c.HTTP_CODE)
SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD)
HEADER_SIZE = c.getinfo(c.HEADER_SIZE)
SPEED_DOWNLOAD = c.getinfo(c.SPEED_DOWNLOAD)
print "HTTP状态码：%d" %HTTP_CODE
print "DNS解析时间：%.2f ms"%(NAMELOOKUP_TIME*1000)
print "建立连接时间：%.2f ms" %(CONNECT_TIME*1000)
print "准备传输时间：%.2f ms" %(PRETRANSFER_TIME*1000)
print "传输开始时间：%.2f ms" %(STARTTRANSFER_TIME*1000)
print "传输结束总时间：%.2f ms" %(TOTAL_TIME*1000)
print "下载数据包大小：%d bytes/s" %(SIZE_DOWNLOAD)
print "HTTP头部大小：%d byte" %(HEADER_SIZE)
print "平均下载速度：%d bytes/s" %(SPEED_DOWNLOAD)
indexfile.close()
c.close()

print "UTC时区时间为：%s" % time.strftime( ISOTIMEFORMAT, time.gmtime( time.time() ) )
print "当前时区时间为：%s" % time.strftime( ISOTIMEFORMAT, time.localtime( time.time() ) )
print "================================================================"