Docker实践 -- 使用Open vSwitch实现跨主机通信-低调大师

Docker实践 -- 使用Open vSwitch实现跨主机通信

2017-11-26 573

作为目前最火热的容器技术，docker在网络实现和管理方面还存在不足。最开始的docker是依赖于Linux Bridge实现的网络设置，只能在容器里创建一个网卡。后来随着docker/libnetwork项目的进展，docker的网络管理功能逐渐多了起来。尽管如此，跨主机通信对于docker来说还是一个需要面对的问题，这一点对于kubernetes类的容器管理系统异常重要。目前市面上主流的解决方法有flannel, weave, Pipework, Open vSwitch等。

Open vSwitch实现比较简单，成熟且功能强大，所以很适合作为解决docker底层网络互联互通的工具。言归正传，如下是基本架构图：

具体的实现步骤如下：

1. 安装docker, bridge-utils和openvswitch

 
        [root@dockerserver1 ~]
        # yum install docker bridge-utils -y  
       
        [root@dockerserver1 ~]
        # yum install wget openssl-devel -y  
       
        [root@dockerserver1 ~]
        # yum groupinstall "Development Tools" 
       
        [root@dockerserver1 ~]
        # adduser ovswitch 
       
        [root@dockerserver1 ~]
        # su - ovswitch 
       
        [ovswitch@dockerserver1 ~]$ wget http:
        //openvswitch
        .org
        /releases/openvswitch-2
        .3.0.
        tar
        .gz 
       
        [ovswitch@dockerserver1 ~]$ 
        tar 
        -zxvpf openvswitch-2.3.0.
        tar
        .gz 
       
        [ovswitch@dockerserver1 ~]$ 
        mkdir 
        -p ~
        /rpmbuild/SOURCES 
       
        [ovswitch@dockerserver1 ~]$ 
        sed 
        's/openvswitch-kmod, //g' 
        openvswitch-2.3.0
        /rhel/openvswitch
        .spec > openvswitch-2.3.0
        /rhel/openvswitch_no_kmod
        .spec 
       
        [ovswitch@dockerserver1 ~]$ 
        cp 
        openvswitch-2.3.0.
        tar
        .gz rpmbuild
        /SOURCES/ 
       
        [ovswitch@dockerserver1 ~]$ rpmbuild -bb --without check ~
        /openvswitch-2
        .3.0
        /rhel/openvswitch_no_kmod
        .spec 
       
        [ovswitch@dockerserver1 ~]$ 
        exit 
       
        [root@dockerserver1 ~]
        # yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm -y 
       
        [root@dockerserver1 ~]
        # mkdir /etc/openvswitch 
       
        [root@dockerserver1 ~]
        # setenforce 0

2. 在dockerserver1上编辑/usr/lib/systemd/system/docker.service文件，添加docker启动选项"--bip=10.0.0.1/24"，如下：

 
        [root@dockerserver1 ~]
        # cat /usr/lib/systemd/system/docker.service 
       
        [Unit]
       
        Description=Docker Application Container Engine
       
        Documentation=http:
        //docs
        .docker.com 
       
        After=network.target rhel-push-plugin.socket registries.service
       
        Wants=docker-storage-setup.service
       
        Requires=docker-cleanup.timer
       
        [Service]
       
        Type=notify
       
        NotifyAccess=all
       
        EnvironmentFile=-
        /run/containers/registries
        .conf 
       
        EnvironmentFile=-
        /etc/sysconfig/docker 
       
        EnvironmentFile=-
        /etc/sysconfig/docker-storage 
       
        EnvironmentFile=-
        /etc/sysconfig/docker-network 
       
        Environment=GOTRACEBACK=crash
       
        Environment=DOCKER_HTTP_HOST_COMPAT=1
       
        Environment=PATH=
        /usr/libexec/docker
        :
        /usr/bin
        :
        /usr/sbin 
       
        ExecStart=
        /usr/bin/dockerd-current 
        \ 
       
        --add-runtime docker-runc=
        /usr/libexec/docker/docker-runc-current 
        \ 
       
        --default-runtime=docker-runc \ 
       
        --
        exec
        -opt native.cgroupdriver=systemd \ 
       
        --userland-proxy-path=
        /usr/libexec/docker/docker-proxy-current 
        \ 
       
        --bip=10.0.0.1
        /24 
        \ 
       
        $OPTIONS \ 
       
        $DOCKER_STORAGE_OPTIONS \ 
       
        $DOCKER_NETWORK_OPTIONS \ 
       
        $ADD_REGISTRY \ 
       
        $BLOCK_REGISTRY \ 
       
        $INSECURE_REGISTRY\ 
       
        $REGISTRIES   
       
        ExecReload=
        /bin/kill 
        -s HUP $MAINPID 
       
        LimitNOFILE=1048576
       
        LimitNPROC=1048576
       
        LimitCORE=infinity
       
        TimeoutStartSec=0
       
        Restart=on-abnormal
       
        MountFlags=slave
       
        KillMode=process
       
        [Install]
       
        WantedBy=multi-user.target
       
        [root@dockerserver1 ~]
        #

3. 在dockerserver2上编辑/usr/lib/systemd/system/docker.service文件，添加docker启动选项"--bip=10.0.1.1/24"，如下：

 
        [root@dockerserver2 ~]
        # cat /usr/lib/systemd/system/docker.service    
       
        [Unit]
       
        Description=Docker Application Container Engine
       
        Documentation=http:
        //docs
        .docker.com 
       
        After=network.target rhel-push-plugin.socket registries.service
       
        Wants=docker-storage-setup.service
       
        Requires=docker-cleanup.timer
       
        [Service]
       
        Type=notify
       
        NotifyAccess=all
       
        EnvironmentFile=-
        /run/containers/registries
        .conf 
       
        EnvironmentFile=-
        /etc/sysconfig/docker 
       
        EnvironmentFile=-
        /etc/sysconfig/docker-storage 
       
        EnvironmentFile=-
        /etc/sysconfig/docker-network 
       
        Environment=GOTRACEBACK=crash
       
        Environment=DOCKER_HTTP_HOST_COMPAT=1
       
        Environment=PATH=
        /usr/libexec/docker
        :
        /usr/bin
        :
        /usr/sbin 
       
        ExecStart=
        /usr/bin/dockerd-current 
        \ 
       
        --add-runtime docker-runc=
        /usr/libexec/docker/docker-runc-current 
        \ 
       
        --default-runtime=docker-runc \ 
       
        --
        exec
        -opt native.cgroupdriver=systemd \ 
       
        --userland-proxy-path=
        /usr/libexec/docker/docker-proxy-current 
        \ 
       
        --bip=10.0.1.1
        /24 
        \ 
       
        $OPTIONS \ 
       
        $DOCKER_STORAGE_OPTIONS \ 
       
        $DOCKER_NETWORK_OPTIONS \ 
       
        $ADD_REGISTRY \ 
       
        $BLOCK_REGISTRY \ 
       
        $INSECURE_REGISTRY\ 
       
        $REGISTRIES 
       
        ExecReload=
        /bin/kill 
        -s HUP $MAINPID 
       
        LimitNOFILE=1048576
       
        LimitNPROC=1048576
       
        LimitCORE=infinity
       
        TimeoutStartSec=0
       
        Restart=on-abnormal
       
        MountFlags=slave
       
        KillMode=process
       
        [Install]
       
        WantedBy=multi-user.target
       
        [root@dockerserver2 ~]
        #

4. 在两个主机上启动docker服务

 
        # systemctl start docker  
       
        # systemctl enable docker

5. docker服务启动后，可以看到一个新的bridge docker0被创建出来，并且被赋予了我们之前配置的IP地址:

 
        [root@dockerserver1 ~]
        # brctl show 
       
        bridge name     bridge 
        id               
        STP enabled     interfaces 
       
        docker0         8000.02427076111e       no
       
        [root@dockerserver1 ~]
        # ifconfig docker0 
       
        docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
       
        inet 10.0.0.1  netmask 255.255.255.0  broadcast 0.0.0.0 
       
        ether 02:42:70:76:11:1e  txqueuelen 0  (Ethernet) 
       
        RX packets 0  bytes 0 (0.0 B) 
       
        RX errors 0  dropped 0  overruns 0  frame 0 
       
        TX packets 0  bytes 0 (0.0 B) 
       
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0 
       
        [root@dockerserver1 ~]
        #

 
        [root@dockerserver2 ~]
        # brctl show 
       
        bridge name     bridge 
        id               
        STP enabled     interfaces 
       
        docker0         8000.0242ba00c394       no
       
        [root@dockerserver2 ~]
        # ifconfig docker0 
       
        docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
       
        inet 10.0.1.1  netmask 255.255.255.0  broadcast 0.0.0.0 
       
        ether 02:42:ba:00:c3:94  txqueuelen 0  (Ethernet) 
       
        RX packets 0  bytes 0 (0.0 B) 
       
        RX errors 0  dropped 0  overruns 0  frame 0 
       
        TX packets 0  bytes 0 (0.0 B) 
       
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0 
       
        [root@dockerserver2 ~]
        #

6. 在两个主机上启动openvswitch

 
        # systemctl start openvswitch
       
        # chkconfig openvswitch on

7. 在两个主机上创建隧道网桥br-tun，并通过VXLAN协议创建隧道

 
        [root@dockerserver1 ~]
        # ovs-vsctl add-br br-tun 
       
        [root@dockerserver1 ~]
        # ovs-vsctl add-port br-tun vxlan0 -- set Interface vxlan0 type=vxlan options:remote_ip=10.10.172.204 
       
        [root@dockerserver1 ~]
        # brctl show  
       
        bridge name     bridge 
        id               
        STP enabled     interfaces 
       
        docker0         8000.02427076111e       no              br-tun
       
        [root@dockerserver2 ~]
        # ovs-vsctl add-br br-tun  
       
        [root@dockerserver2 ~]
        # ovs-vsctl add-port br-tun vxlan0 -- set Interface vxlan0 type=vxlan options:remote_ip=10.10.172.203 
       
        [root@dockerserver2 ~]
        # brctl show 
       
        bridge name     bridge 
        id               
        STP enabled     interfaces 
       
        docker0         8000.0242ba00c394       no              br-tun

8. 将br-tun作为接口加入docker0网桥

 
        [root@dockerserver1 ~]
        # brctl addif docker0 br-tun  
       
        [root@dockerserver2 ~]
        # brctl addif docker0 br-tun

9. 由于两个主机的容器处于不同的网段，需要添加路由才能让两边的容器互相通信

 
        [root@dockerserver1 ~]
        # ip route add 10.0.1.0/24 via 10.10.172.204 dev eth0  
       
        [root@dockerserver2 ~]
        # ip route add 10.0.0.0/24 via 10.10.172.203 dev eth0

10. 在两个主机上各自启动一个docker容器，验证互相能否通信。

 
        [root@dockerserver1 ~]
        # docker run --rm -it centos /bin/bash          
       
        [root@8f3cac41a7d5 /]
        # yum install net-tools -y 
       
        [root@8f3cac41a7d5 /]
        # ifconfig eth0 
       
        eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
       
        inet 10.0.0.2  netmask 255.255.255.0  broadcast 0.0.0.0 
       
        inet6 fe80::42:aff:fe00:2  prefixlen 64  scopeid 0x20<link> 
       
        ether 02:42:0a:00:00:02  txqueuelen 0  (Ethernet) 
       
        RX packets 4266  bytes 13337782 (12.7 MiB) 
       
        RX errors 0  dropped 0  overruns 0  frame 0 
       
        TX packets 4144  bytes 288723 (281.9 KiB) 
       
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0 
       
        [root@8f3cac41a7d5 /]
        #

 
        [root@dockerserver2 ~]
        # docker run --rm -it centos /bin/bash 
       
        [root@3edc0ed8f805 /]
        # yum install net-tools -y 
       
        [root@3edc0ed8f805 /]
        # ifconfig eth0 
       
        eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
       
        inet 10.0.1.2  netmask 255.255.255.0  broadcast 0.0.0.0 
       
        inet6 fe80::42:aff:fe00:102  prefixlen 64  scopeid 0x20<link> 
       
        ether 02:42:0a:00:01:02  txqueuelen 0  (Ethernet) 
       
        RX packets 4536  bytes 13344451 (12.7 MiB) 
       
        RX errors 0  dropped 0  overruns 0  frame 0 
       
        TX packets 4381  bytes 301685 (294.6 KiB) 
       
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0 
       
        [root@3edc0ed8f805 /]
        # ping 10.0.0.2 
       
        PING 10.0.0.2 (10.0.0.2) 56(84) bytes of data.
       
        64 bytes from 10.0.0.2: icmp_seq=1 ttl=62 
        time
        =1.68 ms 
       
        ^C
       
        --- 10.0.0.2 
        ping 
        statistics --- 
       
        1 packets transmitted, 1 received, 0% packet loss, 
        time 
        0ms 
       
        rtt min
        /avg/max/mdev 
        = 1.683
        /1
        .683
        /1
        .683
        /0
        .000 ms 
       
        [root@3edc0ed8f805 /]
        #

11.查看两个docker宿主机的网卡信息

 
        [root@dockerserver1 ~]
        # ip addr list 
       
        1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
       
        link
        /loopback 
        00:00:00:00:00:00 brd 00:00:00:00:00:00 
       
        inet 127.0.0.1
        /8 
        scope host lo 
       
        valid_lft forever preferred_lft forever 
       
        inet6 ::1
        /128 
        scope host  
       
        valid_lft forever preferred_lft forever 
       
        2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
       
        link
        /ether 
        00:50:56:86:3e:d8 brd ff:ff:ff:ff:ff:ff 
       
        inet 10.10.172.203
        /24 
        brd 10.10.172.255 scope global eth0 
       
        valid_lft forever preferred_lft forever 
       
        inet6 fe80::250:56ff:fe86:3ed8
        /64 
        scope link  
       
        valid_lft forever preferred_lft forever 
       
        3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
       
        link
        /ether 
        02:42:70:76:11:1e brd ff:ff:ff:ff:ff:ff 
       
        inet 10.0.0.1
        /24 
        scope global docker0 
       
        valid_lft forever preferred_lft forever 
       
        inet6 fe80::42:70ff:fe76:111e
        /64 
        scope link  
       
        valid_lft forever preferred_lft forever 
       
        4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN 
       
        link
        /ether 
        06:19:20:ae:f6:61 brd ff:ff:ff:ff:ff:ff 
       
        5: br-tun: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master docker0 state DOWN 
       
        link
        /ether 
        42:2c:39:7f:a2:4a brd ff:ff:ff:ff:ff:ff 
       
        [root@dockerserver1 ~]
        #

 
        [root@dockerserver2 ~]
        # ip addr 
       
        1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
       
        link
        /loopback 
        00:00:00:00:00:00 brd 00:00:00:00:00:00 
       
        inet 127.0.0.1
        /8 
        scope host lo 
       
        valid_lft forever preferred_lft forever 
       
        inet6 ::1
        /128 
        scope host  
       
        valid_lft forever preferred_lft forever 
       
        2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
       
        link
        /ether 
        00:50:56:86:22:d8 brd ff:ff:ff:ff:ff:ff 
       
        inet 10.10.172.204
        /24 
        brd 10.10.172.255 scope global eth0 
       
        valid_lft forever preferred_lft forever 
       
        inet6 fe80::250:56ff:fe86:22d8
        /64 
        scope link  
       
        valid_lft forever preferred_lft forever 
       
        3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
       
        link
        /ether 
        02:42:ba:00:c3:94 brd ff:ff:ff:ff:ff:ff 
       
        inet 10.0.1.1
        /24 
        scope global docker0 
       
        valid_lft forever preferred_lft forever 
       
        inet6 fe80::42:baff:fe00:c394
        /64 
        scope link  
       
        valid_lft forever preferred_lft forever 
       
        4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN 
       
        link
        /ether 
        be:d4:64:ee:cb:29 brd ff:ff:ff:ff:ff:ff 
       
        5: br-tun: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master docker0 state DOWN 
       
        link
        /ether 
        6e:3d:3e:1a:6a:4e brd ff:ff:ff:ff:ff:ff 
       
        [root@dockerserver2 ~]
        #

 
  本文转自 dengaosky 51CTO博客，原文链接：http://blog.51cto.com/dengaosky/2067784，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/517856

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云计算技术

云计算技术：这里只是列出我所知道的，希望大家对云计算技术有所了解：一首先让大家明白什么是云端，所谓云端需要两层理解（1）服务不在本地，这一层可以理解为服务器（2）它和普通的服务器是不一样的，这些云端的服务器的资源是共享的，一旦一个服务器不能承受，将会把任务分配给其他机器。二、云技术与其他技术的区别：云技术可以使用的语言有java,c++等。云技术的开发，并没有发展什么新语言，而是在其他语言的基础上。比如Java语言。与其他技术，最显著的区别，不是在开发上，而是在于架构上，最显著的特点是分布式。三、下面给大家讲一下较火云技术： 1、Hadoop Hadoop是一个框架，它是由Java语言来实现的。Hadoop是处理大数据技术.Hadoop可以处理云计算产生大数据，需要区分hadoop并不是云计算。它和云计算密不可分。详细见下面内容。（1）Hadoop是如何产生的 Hadoop产生是互联网的产物，也是必然。大家都知道，我们上网时需要服务器的。假如世界上只有一台电脑，根本不需要服务器。如果有10台服务器，100台，1000台，上万台，那么我们该如何让大家相互通信，共享知识，所...

2017-11-27

532

Dockfile是一种被Docker程序解释的脚本，Dockerfile由一条一条的指令组成，每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令，Docker程序解决这些命令间的依赖关系，类似于Makefile。Docker程序将读取Dockerfile，根据指令生成定制的image。相比image这种黑盒子，Dockerfile这种显而易见的脚本更容易被使用者接受，它明确的表明image是怎么产生的。有了Dockerfile，当我们需要定制自己额外的需求时，只需在Dockerfile上添加或者修改指令，重新生成image即可，省去了敲命令的麻烦。 1. Dockerfile的书写规则及指令使用方法 Dockerfile的指令是忽略大小写的，建议使用大写，使用 # 作为注释，每一行只支持一条指令，每条指令可以携带多个参数。 Dockerfile的指令根据作用可以分为两种，构建指令和设置指令。构建指令用于构建image，其指定的操作不会在运行image的容器上执行；设置指令用于设置i...

2017-11-27

535

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。