selenium+PhantomJS+IP代理

首先安装selenium、PhantomJS

• selenium安装

  pip install selenium

• PhantomJS安装
  这个需要手动的到官网下载

开始使用

• 导入需要的包

  import random from selenium import webdriver from selenium.webdriver.common.proxy import ProxyType # 调用键盘按键操作 from selenium.webdriver.common.keys import Keys # 调用鼠标操作 from selenium.webdriver import ActionChains # 设置请求头 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

• 操作PhantomJS

  desired_cap = DesiredCapabilities.PHANTOMJS.copy() # 设置请求头 desired_cap['phantomjs.page.settings.User-Agent'] = 'user_agent...' # 配置代理IP proxy = [ '--proxy=%s' % "139.199.38.177:8118", # 设置的代理ip '--proxy-type=http', # 代理类型 '--ignore-ssl-errors=true', ] # 启动PhantomJS driver = webdriver.PhantomJS(executable_path="./phantomjs-2.1.1-linux-x86_64/bin/phantomjs", desired_capabilities=desired_cap, service_args=proxy) # 设置屏幕大小 driver.set_window_size(800, 600) # 请求网页 driver.get("http://www.baidu.com/") # 根据html元素的id找到搜索框，并且输入要搜索的内容 driver.find_element_by_id('kw').send_keys("时光不写博客") # 查到搜索按钮，并且点击搜索 random.choice([ # 使用鼠标点击操作 driver.find_element_by_id('su').click(), # 使用键盘回车操作 driver.find_element_by_id('su').send_keys(Keys.RETURN) ]) # 截屏 driver.save_screenshot('baidu.png') # 使用xpath查到标签，并且点击 driver.find_elements_by_xpath("//div[@id=%s]/h3/a" % 2)[0].click() # 拿到当前浏览器的最后一个tab，这是一个列表的形式 tab = driver.window_handles[-1] # 切换到刚刚点击的页面 driver.switch_to_window(tab) driver.save_screenshot('blog.png') # 根据标签名查到要点击的数据 title = driver.find_element_by_tag_name("title") # 移动鼠标到title的位置，并且点击 ActionChains(driver).move_to_element(title).click(title).perform() # 刷新页面 driver.refresh() # 打印页面源码 driver.page_source title = driver.find_elements_by_xpath("//a[@href='/.']")[0] # 移动到title下10像素位置，并且双点击 ActionChains(driver).move_to_element_with_offset(title, 0, 10).double_click().perform() # 退出 driver.quit()

• 具体操作命令

本文链接：时光不写博客-selenium+PhantomJS+IP代理