用docker搭建selenium grid分布式环境实践之路-低调大师

用docker搭建selenium grid分布式环境实践之路

2020-03-25 694

用docker搭建selenium grid分布式环境实践之路
最近需要测试zoom视频会议，同时模拟100个人加入会议。经过了解，zoom提供了直接通过url链接加入会议的方式（只能通过chrome浏览器或者FireFox浏览器，因为用的协议是webrtc）。

顺着这个思路考虑可以通过Selenium自动化，同时启动多个浏览器进程，每个进程代表一个视频会议用户，达到模拟多方会议的效果。不过有以下两个难点：

需要多个chrome浏览器进程同时存活，在电脑上启动一个chrome浏览器进程差不多要消耗220M左右。
视频会议的音频和视频源的问题。
针对视频会议的音频和视频源的问题，chrome浏览器有比较好的支持，在Selenium脚本中初始化Chrome浏览器的参数中，只需要加入如下配置：

chrome_options.add_argument("--use-fake-ui-for-media-stream")
chrome_options.add_argument("--use-fake-device-for-media-stream")
就能在加入视频会议之后，使用虚拟的视频和音频。不过有个问题需要考虑，这个虚拟视频和真实的视频会议中的视频质量看上去是有差距的，会不会对测试结果造成影响，我们这里暂时不讨论这个话题。

现在唯一比较头疼的是怎么实现100个chrome浏览器进程，可能你会觉得，这不就是资源问题吗？加服务器不就搞定了？！但是假如有了服务器资源之后，怎么做任务调度呢？好在有Selenium Grid，它是Selenium的三大组件，专门用来执行分布式测试。

于是基于Selenium Grid设计了个测试方案：

将某台服务器作为Hub，也就是master
将剩下的机器作为node，注册到hub机器。
本地采用多进程执行Selenium自动化脚本（我使用python语言实现的）。
按照上面的设计思路，理论上是能够模拟出100人同时加入会议的。接下来我们就正式开始用docker搭建Selenium Grid分布式环境的探索之路。

selenium jar包直接启动节点
其实，最开始我是直接使用jar包启动节点的，起几个节点还能接受，但是节点多了之后会特别麻烦，比如：想重启下节点，则需要手动全部kill掉，然后再一个个启动。

只要是手动重复的工作，就能脚本化。于是我写了两个shell脚本，一个脚本是根据传参启动对应数量的节点；另一个脚本是将所有的节点进程全部kill掉。主要脚本如下图所示：

虽然用脚本也能轻松的执行，但还是不方便。首先启动节点后，会增加好多java进程，并且没办法查看单个节点的日志，因为所有节点的日志都同时在控制台打印。于是考虑用docker来管理Selenium grid节点。

用docker命令直接启动
在github上有现成的镜像： https://github.com/SeleniumHQ/docker-selenium 。然后说明文档中也列出了所有可用的镜像名称，因为我主要使用chrome浏览器，所有安装了： selenium/hub 、 selenium/node-chrome、 selenium/node-chrome-debug 三个镜像，其中selenium/node-chrome-debug镜像会启动一个VNC Server，在脚本执行过程中，本地可以连上VNC Server，通过界面查看服务器的脚本执行情况。使用命令：

$ docker pull selenium/hub
$ docker pull selenium/node-chrome
$ docker pull selenium/node-chrome-debug
启动hub的命令如下：

$ docker run -d -p 4444:4444 -e GRID_MAX_SESSION=100 --name hub selenium/hub
启动本地节点（hub和node在一台机器上）的命令如下：

$ docker run -d -p 5555:5555 -e NODE_MAX_INSTANCES=5 -e NODE_MAX_SESSION=5 --shm-size=2g --link hub:hub --name node1 selenium/node-chrome
启动远端节点（hub和node不在一台机器上）的命令如下：

$ docker run -d -p port:5555 -e HUB_HOST=remote_ip -e HUB_PORT=remote_port -e REMOTE_HOST=http://ip:port -e NODE_MAX_INSTANCES=5 -e NODE_MAX_SESSION=5 --shm-size=2g --name node1 selenium/node-chrome
这里需要注意，网上很多教程提供的启动命令都是hub和node在一台机器上，假如需要hub和node在不同的机器上，按照网上的教程，虽然启动不会报错，但是节点和hub之间的网络是不通的。

不过直接使用docker命令虽然可以单独查看单个节点的日志，但是却和使用jar包的方式面对一样的问题：启动多个节点，非常不方便，需要手动执行多次命令。有没有更好的方案呢？当然有，可以使用docker-compose对docker容器进行整合。

docker-compose 启动
docker compose是docker的一个命令行工具，用来定义和运行多个容器组成的应用。相当于我们可以将多个docker命令放到一个文件里，然后由docker-compose一键执行。

同样的，也需要分两种情况：

Hub和node在一台机器上
可以使用如下的配置文件docker-compose.yml

version: "3"
services:
selenium-hub:

image: selenium/hub
container_name: selenium-hub
ports:
  - "4444:4444"
environment:
  - GRID_MAX_SESSION=50
  - GRID_TIMEOUT=900
  - START_XVFB=false

chrome:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
depends_on:
  - selenium-hub
environment:
  - HUB_HOST=selenium-hub
  - HUB_PORT=4444
  - NODE_MAX_INSTANCES=5
  - NODE_MAX_SESSION=5

然后在控制台执行命令：

$ docker-compose up -d //-d表示在后台运行
如果想同时启动多个节点该怎么办呢？非常简单：

$ docker-compose up -d --scale chrome=num //num是要启动节点的数量
如果想关闭节点，可以执行如下命令：

$ docker-compose down
Hub和node不在一台机器上
可以使用如下配置文件docker-compose.yml

version: "3"
services:
# selenium-chrome-1
selenium-chrome-node-1:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
ports:
  - "5556:5555"
restart: always
stdin_open: true
environment:
  HUB_HOST: hub_ip
  HUB_PORT: 4444
  NODE_MAX_INSTANCES: 5
  NODE_MAX_SESSION: 5
  REMOTE_HOST: http://节点ip:5556
  GRID_TIMEOUT: 60000
shm_size: "2gb"

# selenium-chrome-2
selenium-chrome-node-2:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
ports:
  - "5555:5555"
restart: always
stdin_open: true
container_name: node1
environment:
  HUB_HOST: hub_ip
  HUB_PORT: 4444
  NODE_MAX_INSTANCES: 5
  NODE_MAX_SESSION: 5
  REMOTE_HOST: http://节点ip:5555
  GRID_TIMEOUT: 60000
shm_size: "2gb"

# selenium-chrome-3
selenium-chrome-node-3:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
ports:
  - "5557:5555"
restart: always
stdin_open: true
environment:
  HUB_HOST: hub_ip
  HUB_PORT: 4444
  NODE_MAX_INSTANCES: 5
  NODE_MAX_SESSION: 5
  REMOTE_HOST: http://节点ip:5557
  GRID_TIMEOUT: 60000
shm_size: "2gb"

# selenium-chrome-4
selenium-chrome-node-4:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
ports:
  - "5558:5555"
restart: always
stdin_open: true
environment:
  HUB_HOST: hub_ip
  HUB_PORT: 4444
  NODE_MAX_INSTANCES: 5
  NODE_MAX_SESSION: 5
  REMOTE_HOST: http://节点ip:5558
  GRID_TIMEOUT: 60000
shm_size: "2gb"

# selenium-chrome-5
selenium-chrome-node-5:

image: selenium/node-chrome
volumes:
  - /dev/shm:/dev/shm
ports:
  - "5559:5555"
restart: always
stdin_open: true
environment:
  HUB_HOST: hub_ip
  HUB_PORT: 4444
  NODE_MAX_INSTANCES: 5
  NODE_MAX_SESSION: 5
  REMOTE_HOST: http://节点ip:5559
  GRID_TIMEOUT: 60000
shm_size: "2gb"

启动节点的命令是（前提是hub需要提前启动）：

$ docker-compose up -d
关闭节点的命令是：

$ docker-compose down
遗留问题
按照我上面这种方式搭建Selenium Grid环境，本地节点可以正常执行，但是远端的节点却经常超时，不过从http://hub_ip:4444/grid/console界面上看到的节点网络全部都是通的。

之前查过一些资料，貌似需要使用Docker Swarm，它是一个docker集群管理工具，将若干台 Docker 主机抽象为一个整体，并且通过一个入口统一管理这些 Docker 主机上的各种 Docker 资源。不过目前还没研究它，后面如果用Docker Swarm有结论之后，我再写文章同步给大家。

总结
用docker搭建selenium grid分布式环境，非常方便，基本是一行命令就能启动或者关闭节点。希望我这篇文章能给大家提供一些思路，帮助大家在平时的工作中解决一些问题。

还是那句话，任何技术，只要能帮你解决实际的问题，就是好的技术！

原文地址https://www.cnblogs.com/zhouliweiblog/p/12572047.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/751690

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用 gravity 做大表的分表操作

gravity 是摩拜单车出票的一个异构/同构数据复制通道软件，提供主流软件的支持，并支持k8s云原生。比较看好它的发展。项目地址：https://github.com/moiot/gravity 官方文档：https://github.com/moiot/gravity/blob/master/docs/2.0/01-quick-start.md gravity的编译和部署不是这里的重点，我们直接跳过。 gravity的部署： cd/root/ gitclonehttps://github.com/moiot/gravity.git cdgravity&&make mkdir/usr/local/gravity/ cd/usr/local/gravity/ cp/root/gravity/bin/gravity/usr/local/gravity/ 配置文件这里先忽略，下面是我的架构图：业务场景：一个老表，随着业务量增大，考虑到分表，按照 user_id 做hash取模拆分，然后业务层面去做数据CRUD操作。数据表如下： createdatabasete...

2020-03-26

705

如今，直播已经渗透到人们生活的方方面面，为了在市场竞争中处于有利地位，快速实现商业变现的目的，越来越多的企业加入到直播的大潮中。那么在进行直播搭建时，我们会遇到很多的问题，今天就和大家简单聊一下，在进行直播搭建前，我们应该要了解的常识有哪些？1.直播平台搭建部署需要准备哪些内容？部署搭建网络直播系统时需要办理网络文化许可证，需要准备一系列材料，如直播平台的名称、图标、服务器域名，APP应用进场图，观看页图，苹果App Store上架和安卓相关应用上架需要的资料，需提前开通流媒体CDN、云存储、推送及私信接口、短信验证码、bugly等第三方平台服务。2.苹果开发者账号相关问题申请苹果开发者账号，主要的目的是用于将应用上架到App Store供用户安装下载。首先科普下苹果开发者账号的三大种类：个人、组织和教育机构，但是我们最常关注的是个人和组织里细分的公司和企业，它们各自的年费分别对应：99美金、99美金和299美金。（1）个人开发者账号：个人开发者账号也可以进行上架，如果用作签名分发时会有设备数量限制，从字面意思看更适用于个人开发者，如果做APP运营推广，还是要申请公司账号。（2）公司开...

2020-03-27

621

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。