玩转Docker Network-低调大师

玩转Docker Network

2017-09-25 542

本文讲的是玩转Docker Network，【编者的话】关于Docker网络的文章有很多，然而，本文从基础出发，不仅搭建Docker网络，还辅助了各种实验。文章将实验步骤记录的很详细，通过阅读本文有助于增强对Docker网络的了解，读者甚至可以跟着步骤进行实验。

环境

3个节点的虚拟机，每个节点都要安装Docker。

VM1/Host1: 10.32.171.202 centos7
VM2/Host2: 10.32.171.203 centos7
Vm3/Host3: 10.32.171.204 centos7

首先，先设置实验环境。在每个节点上，进行下列操作：

docker pull centos:7`
docker run -d --name test1 centos:7 /bin/bash -c "while true; do sleep 3600; done" 
# name test2 on VM2, test3 on VM3

# to connect the container
docker exec -it test1 bash

然后，确保内核可以转发IP包。

$ sysctl net.ipv4.conf.all.forwarding=1
$ sysctl net.ipv4.conf.all.forwarding
net.ipv4.conf.all.forwarding = 1

介绍

Docker一旦被创建好，就会创建一个名为docker0的bridge。当容器创建好后，一个Veth pair(veth2a6e52a)就会将连接到docker0，参考官方文档，注意 ens32 是我的“eth0”。

# VM1
$ ip li
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000
link/ether 00:50:56:98:61:4c brd ff:ff:ff:ff:ff:ff
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
link/ether 56:84:7a:fe:97:99 brd ff:ff:ff:ff:ff:ff
25: veth2a6e52a: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP mode DEFAULT
link/ether 56:7f:46:26:0d:cb brd ff:ff:ff:ff:ff:ff

$ brctl show
bridge name     bridge id               STP enabled     interfaces
docker0         8000.56847afe9799       no              veth2a6e52a

$ bridge li
25: veth2a6e52a state UP : <BROADCAST,UP,LOWER_UP> mtu 1500 master docker0 state forwarding priority 32 cost 2

Docker使用route和iptables（要注意 MASQUERADE ），为容器创建NAT，这样就可以连接到外网。

$ ip route
default via 10.32.171.1 dev ens32
10.32.171.0/24 dev ens32  proto kernel  scope link  src 10.32.171.202
169.254.0.0/16 dev ens32  scope link  metric 1002
172.17.0.0/16 dev docker0  proto kernel  scope link  src 172.17.42.1

$ iptables --list -t nat
Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
PREROUTING_direct  all  --  anywhere             anywhere
PREROUTING_ZONES_SOURCE  all  --  anywhere             anywhere
PREROUTING_ZONES  all  --  anywhere             anywhere
DOCKER     all  --  anywhere             anywhere             ADDRTYPE match dst-type LOCAL

Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
OUTPUT_direct  all  --  anywhere             anywhere
DOCKER     all  --  anywhere            !loopback/8           ADDRTYPE match dst-type LOCAL

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
MASQUERADE  all  --  172.17.0.0/16        anywhere
POSTROUTING_direct  all  --  anywhere             anywhere
POSTROUTING_ZONES_SOURCE  all  --  anywhere             anywhere
POSTROUTING_ZONES  all  --  anywhere             anywhere
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:https
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:6611
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:7072
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:http
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:9011

Chain DOCKER (2 references)
target     prot opt source               destination

Chain OUTPUT_direct (1 references)
target     prot opt source               destination

Chain POSTROUTING_ZONES (1 references)
target     prot opt source               destination
POST_public  all  --  anywhere             anywhere            [goto]
POST_public  all  --  anywhere             anywhere            [goto]

Chain POSTROUTING_ZONES_SOURCE (1 references)
target     prot opt source               destination

Chain POSTROUTING_direct (1 references)
target     prot opt source               destination

Chain POST_public (2 references)
target     prot opt source               destination
POST_public_log  all  --  anywhere             anywhere
POST_public_deny  all  --  anywhere             anywhere
POST_public_allow  all  --  anywhere             anywhere

Chain POST_public_allow (1 references)
target     prot opt source               destination

Chain POST_public_deny (1 references)
target     prot opt source               destination

Chain POST_public_log (1 references)
target     prot opt source               destination

Chain PREROUTING_ZONES (1 references)
target     prot opt source               destination
PRE_public  all  --  anywhere             anywhere            [goto]
PRE_public  all  --  anywhere             anywhere            [goto]

Chain PREROUTING_ZONES_SOURCE (1 references)
target     prot opt source               destination

Chain PREROUTING_direct (1 references)
target     prot opt source               destination

Chain PRE_public (2 references)
target     prot opt source               destination
PRE_public_log  all  --  anywhere             anywhere
PRE_public_deny  all  --  anywhere             anywhere
PRE_public_allow  all  --  anywhere             anywhere

Chain PRE_public_allow (1 references)
target     prot opt source               destination

Chain PRE_public_deny (1 references)
target     prot opt source               destination

Chain PRE_public_log (1 references)
target     prot opt source               destination

关于Namespaces

容器使用的Namespaces和其它程序不同，查看Namespaces指南 1 和 2 。

# VM1
$ ll /proc/3378/ns  # docker process
total 0
lrwxrwxrwx 1 root root 0 May 11 14:32 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 May 11 14:32 mnt -> mnt:[4026532442]
lrwxrwxrwx 1 root root 0 May 11 14:32 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 May 11 14:32 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 May 11 14:32 uts -> uts:[4026531838]
$ ll /proc/1/ns     # systemd process
total 0
lrwxrwxrwx 1 root root 0 May 11 14:33 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 May 11 14:33 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 May 11 14:33 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 May 11 14:33 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 May 11 14:33 uts -> uts:[4026531838]
$ ll /proc/4718/ns/   # container test1, the ns is different
total 0
lrwxrwxrwx 1 root root 0 May  8 16:44 ipc -> ipc:[4026532453]
lrwxrwxrwx 1 root root 0 May  8 16:44 mnt -> mnt:[4026532451]
lrwxrwxrwx 1 root root 0 May  8 16:44 net -> net:[4026532456]
lrwxrwxrwx 1 root root 0 May  8 16:44 pid -> pid:[4026532454]
lrwxrwxrwx 1 root root 0 May  8 16:44 uts -> uts:[4026532452]

然而，使用 ip netns 工具查看，却什么都没有。为什么？这是因为Docker默认删除了Network Namaspaces的信息。

# However, ip netns shows nothing (root). Why?
$ ip netns list
$

# New network namespaces should able to be seen in /var/run/netns. 
# But docker deletes them on default
$ ip netns add blue
$ ls /var/run/netns/
blue
$ ip netns delete blue

# Let's restore these netns info
$ docker inspect --format='' test1    
# show pid of test1 4718
$ ln -s /proc/4718/ns/net /var/run/netns/4718

# View network info inside my test1 container
$ ip netns
4718
$ ip netns exec 4718 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
32: eth0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP
link/ether 02:42:ac:11:00:01 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.1/16 scope global eth0
   valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe11:1/64 scope link
   valid_lft forever preferred_lft forever

# Show another pair of outside veth pair
$ ethtool -S veth523170f
NIC statistics:
peer_ifindex: 32 
# Note the 32 shown above


# Restore everything to default
$ rm -f /var/run/netns/4718

问题：我如何在shell下创建Namespaces，并启动或者改变Namespaces的进程？

关于Veth Pair

Veth Pair通常用于不同网络空间的交流，参考 1 和 2 。Veth Pair已知问题有： 1 和 2 。一些人建议使用ovs patch端口，因为ovs patch端口的表现优于Veth Pair。

建立自己的Docker网络

下面是一系列实验，这些实验是关于在主机与容器之间建立网络。最终，我将为容器建立一个私有网络192.168.7.0/24，这个私有网络与主机网络10.32.171.0/24是隔离的。一个虚拟路由（通过Namespaces创建的）用来连接这两个网络，并使得主机和容器可以互相ssh对方。

第一阶段： Intra-host Ping

首先，在每个主机上，删除原有的docker bridge和iptables rules，一些内容参考自[这里]。( https://docs.docker.com/articl ... ocker 0)

service docker stop
ip link set dev docker0 down
brctl delbr docker0
iptables -t nat -F POSTROUTING

添加自己的bridge：

brctl addbr bridge0
ip addr add 192.168.5.1/24 dev bridge0
ip link set dev bridge0 up

brctl addbr bridge1
ip addr add 192.168.6.1/24 dev bridge1
ip link set dev bridge1 up

启用Docker服务, 注意：我们是在没有建立bridge和iptables的情况下启用的。关于如何在CentOS下配置Docker的启动选项，你可以看下 Fabien的文章。

# Append below to /etc/sysconfig/docker::OPTIONS
-b=bridge0 --iptables=false    # actually, bridge0 can be whatever
# Start docker service
service docker start

在没有网络配置的情况下，在每个主机上，启动我的CentOS测试容器。

$ docker run -d --name test1.1 --net=none centos:7 /bin/bash -c "while true; do sleep 3600; done"  
# name test2.1 on VM2, test3.1 on VM3
$ docker exec -it test1.1 bash

# inside test1.1, no network at all
$ ip li
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
$ ip ro
$

在每个主机上，为我的测试容器创建2个NICs。

# Restore the network namespace info
export TEST_PID=$(docker inspect --format='' test1.1)    
# change to test2.1 on VM2, test3.1 on VM3
ip netns add blue && ip netns delete blue    # to ensure /var/run/netns folder exists
ln -s /proc/${TEST_PID}/ns/net /var/run/netns/${TEST_PID}

# Create veth pairs for container
ip link add ${TEST_PID}.eth0 type veth peer name veth0
ip link add ${TEST_PID}.eth1 type veth peer name veth1

# Assign veth pairs to container
ip li set veth0 netns ${TEST_PID}
ip li set veth1 netns ${TEST_PID}

# Add NIC to bridges
brctl addif bridge0 ${TEST_PID}.eth0
brctl addif bridge1 ${TEST_PID}.eth1

在容器内部，你可以看见这些新建的NICs。

$ docker exec -it test1.1 bash
$ ip li
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
47: veth0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN mode DEFAULT qlen 1000
link/ether 6e:21:24:67:71:fd brd ff:ff:ff:ff:ff:ff
49: veth1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN mode DEFAULT qlen 1000
link/ether 6e:14:8b:d3:de:a5 brd ff:ff:ff:ff:ff:ff

在每一个主机上，为我每个容器的NICs分配一个对应于bridge network新的IP。(事实上，我只是想伪造一个DHCP服务。)

# Host 1
ip netns exec ${TEST_PID} ip addr add 192.168.5.2 dev veth0
ip netns exec ${TEST_PID} ip addr add 192.168.6.2 dev veth1

# Host 2
ip netns exec ${TEST_PID} ip addr add 192.168.5.3 dev veth0
ip netns exec ${TEST_PID} ip addr add 192.168.6.3 dev veth1

# Host 3
ip netns exec ${TEST_PID} ip addr add 192.168.5.4 dev veth0
ip netns exec ${TEST_PID} ip addr add 192.168.6.4 dev veth1

在每一个主机上，打开接口。

ip netns exec ${TEST_PID} ip li set veth0 up
ip netns exec ${TEST_PID} ip li set veth1 up
ip li set ${TEST_PID}.eth0 up
ip li set ${TEST_PID}.eth1 up

在每一个主机上，配置容器内部的路由。

# Host 1
ip netns exec ${TEST_PID} ip route add 192.168.5.0/24 dev veth0
ip netns exec ${TEST_PID} ip route add 192.168.6.0/24 dev veth1
ip netns exec ${TEST_PID} ip route add default via 192.168.5.1

# Host 2
ip netns exec ${TEST_PID} ip route add 192.168.5.0/24 dev veth0
ip netns exec ${TEST_PID} ip route add 192.168.6.0/24 dev veth1
ip netns exec ${TEST_PID} ip route add default via 192.168.5.1

# Host 3
ip netns exec ${TEST_PID} ip route add 192.168.5.0/24 dev veth0
ip netns exec ${TEST_PID} ip route add 192.168.6.0/24 dev veth1
ip netns exec ${TEST_PID} ip route add default via 192.168.5.1

上述步骤进行到这里后，你应该可以成功地从主机ping通到该主机上的容器，但你仍然无法从外部主机ping到容器。

# Host 1
$ ping 192.168.5.2
PING 192.168.5.2 (192.168.5.2) 56(84) bytes of data.
64 bytes from 192.168.5.2: icmp_seq=1 ttl=64 time=0.188 ms
...
$ ping 192.168.6.2
PING 192.168.6.2 (192.168.6.2) 56(84) bytes of data.
64 bytes from 192.168.6.2: icmp_seq=1 ttl=64 time=0.160 ms
...

# Host 3
$ ping 192.168.5.4
PING 192.168.5.4 (192.168.5.4) 56(84) bytes of data.
64 bytes from 192.168.5.4: icmp_seq=1 ttl=64 time=0.275 ms
...
$ ping 192.168.6.4
PING 192.168.6.4 (192.168.6.4) 56(84) bytes of data.
64 bytes from 192.168.6.4: icmp_seq=1 ttl=64 time=0.120 ms
...

第二阶段：通过host NAT连接到外网

在每个主机上增加host NAT，这样容器就可以利用 veth0 连接到外网，参考指南。

# Modify the nat table, and ens32 is my host's eth0
iptables -t nat -A POSTROUTING -j MASQUERADE -s 192.168.5.0/24 -o ens32

在每个主机上，增加正确的转发规则，容器的数据包才能被接受。

# Modify the filter table. Note that if you want to use "!" or "any", 
# read manula, don't just append them to device name
iptables -I FORWARD 1 -i bridge0 ! -o bridge0 -j ACCEPT
iptables -I FORWARD 2 ! -i bridge0 -o bridge0 -m state --state RELATED,ESTABLISHED -j ACCEPT

iptables -I FORWARD 3 -i bridge1 ! -o bridge1 -j ACCEPT
iptables -I FORWARD 4 ! -i bridge1 -o bridge1 -m state --state RELATED,ESTABLISHED -j ACCEPT

在我的每一个centos容器上，安装必要的工具。

docker exec -it test1.1 bash    # name 2.1 on VM2, 3.1 on VM3
# inside container
yum install -y bind-utils traceroute telnet openssh openssh-server openssh-clients net-tools tcpdump

启用容器内部的sshd，参考文档。

docker exec -it test1.1 bash    # name 2.1 on VM2, 3.1 on VM3
# inside container
vi /etc/ssh/sshd_config
# Change below config options
PasswordAuthentication yes
PermitRootLogin yes
/usr/bin/ssh-keygen -A
echo 'root:123work' | chpasswd
nohup /usr/sbin/sshd -D > /var/log/sshd.log 2>&1 &
exit

在每个主机上，测试sshd。现在，你可以从主机ssh到该主机上的容器了，但仍无法ssh到其他主机上的容器。

# on host 1
$ ssh root@192.168.5.2 'cat /etc/hostname'
6e5898a7d4e4
$ ssh root@192.168.6.2 'cat /etc/hostname'
6e5898a7d4e4

# on host 3
$ ssh root@192.168.5.4 'cat /etc/hostname'
89c83ee77559
$ ssh root@192.168.6.4 'cat /etc/hostname'
89c83ee77559

第三阶段：从主机ssh到远程主机上的容器

如何使主机可以ssh到其他主机上的容器呢？现在开始操作，在每个主机上，删除连接到bridge 1的原始路由，因为它们过于广泛。

ip route delete 192.168.6.0/24 dev bridge1

我们只能将本地容器连接到local bridge上，其他容器则会转发到相应的主机上。

# On host 1
ip route add 192.168.6.2 dev bridge1 src 192.168.6.1
ip route add 192.168.6.3 via 10.32.171.203 dev ens32
ip route add 192.168.6.4 via 10.32.171.204 dev ens32

# On host 2
ip route add 192.168.6.2 via 10.32.171.202 dev ens32
ip route add 192.168.6.3 dev bridge1 src 192.168.6.1
ip route add 192.168.6.4 via 10.32.171.204 dev ens32

# On host 3
ip route add 192.168.6.2 via 10.32.171.202 dev ens32
ip route add 192.168.6.3 via 10.32.171.203 dev ens32
ip route add 192.168.6.4 dev bridge1 src 192.168.6.1

# You should still be able to ssh to local container. For example on host 1
ssh root@192.168.5.2 'cat /etc/hostname'
ssh root@192.168.6.2 'cat /etc/hostname'

下一步，我们需要确保ping reply可以到达外部容器。

# On host 1
ip netns exec ${TEST_PID} ip route add 10.32.171.203 via 192.168.6.1 dev veth1
ip netns exec ${TEST_PID} ip route add 10.32.171.204 via 192.168.6.1 dev veth1

# On host 2
ip netns exec ${TEST_PID} ip route add 10.32.171.202 via 192.168.6.1 dev veth1
ip netns exec ${TEST_PID} ip route add 10.32.171.204 via 192.168.6.1 dev veth1

# On host 3
ip netns exec ${TEST_PID} ip route add 10.32.171.202 via 192.168.6.1 dev veth1
ip netns exec ${TEST_PID} ip route add 10.32.171.203 via 192.168.6.1 dev veth1

在每个主机上，确保iptables允许ssh流量通过。

iptables -I FORWARD 1 -o bridge1 -p tcp --dport 22 -j ACCEPT

现在，通过192.168.6.0/24，你可以从所有的主机ssh到任意容器，但还是无法从容器ssh到其他容器。

# On host 1
ssh root@192.168.6.4 'cat /etc/hostname'
ssh root@192.168.6.2 'cat /etc/hostname'

# On host 3
ssh root@192.168.6.2 'cat /etc/hostname'
ssh root@192.168.6.4 'cat /etc/hostname'

第四阶段：为容器搭建私有的flat network

以下设置需要每个主机上有2个NICs，在上面的操作中，我已经有了一个 ens32 。感谢一位管理员，他帮我在每个主机上分配了一个新的 ens34 ，新的 ens34 已经从infra level（vCenter）启用了混杂模式。注意: 虽然在逻辑上处于隔离网络，但事实上， ens32 和 ens34 是连接到同一个交换机的。首先，开启 ens34 , 它们不需要ip。

# On each host
ip li set ens34 up

在这部分，我使用了一个名为 bridge 2 的新bridge，这样就不会和之前的配置产生混乱。这个bridge没有ip，此外，每个容器内部还需要一个新的NIC。在每个主机上进行下列操作：

# Create new bridge. The bridge doesn't have ip
brctl addbr bridge2
ip link set dev bridge2 up

# Create new veth pair as the new NIC
ip link add ${TEST_PID}.eth2 type veth peer name veth2
ip li set veth2 netns ${TEST_PID}
brctl addif bridge2 ${TEST_PID}.eth2
ip netns exec ${TEST_PID} ip li set veth2 up
ip li set ${TEST_PID}.eth2 up

# Delete useless routes added by Milestone 3. It may mess up what we gonna do next
ip netns exec ${TEST_PID} ip route del 10.32.171.202
ip netns exec ${TEST_PID} ip route del 10.32.171.203
ip netns exec ${TEST_PID} ip route del 10.32.171.204

# Setup the route for each container
ip netns exec ${TEST_PID} ip route add 192.168.7.0/24 dev veth2

# Add new NIC of the host to bridge
brctl addif bridge2 ens34    # my second NIC on the host is ens34

# Enable promisc mode for NIC
ip li set ens34 promisc on

为每个容器设置ip。

# On host 1
ip netns exec ${TEST_PID} ip addr add 192.168.7.2 dev veth2

# On host 2
ip netns exec ${TEST_PID} ip addr add 192.168.7.3 dev veth2

# On host 3
ip netns exec ${TEST_PID} ip addr add 192.168.7.4 dev veth2

现在，你应该可以ssh到每个容器了。

# On host 1
ip netns exec ${TEST_PID} ssh root@192.168.7.4 'cat /etc/hostname'
ip netns exec ${TEST_PID} ssh root@192.168.7.2 'cat /etc/hostname'

# On host 3
ip netns exec ${TEST_PID} ssh root@192.168.7.2 'cat /etc/hostname'
ip netns exec ${TEST_PID} ssh root@192.168.7.4 'cat /etc/hostname'

第五阶段：在主机与容器之间建立一个路由（失败）

我试图在主机网络10.32.171.0/24和容器网络192.168.7.0/24之间，建立一个路由。因为我在10.32.171.0/24上没有新的ip，因此，我将在主机1内部放置一个路由，这个路由有网络Namespaces完成，因此，甚至都不需要容器。首先，我们开始在主机1上设置路由：

# On host 1
ip netns add testrt
ip li add testrt.eth0 type veth peer name veth0    # NIC for host network 10.32.171.0/24
ip li add testrt.eth1 type veth peer name veth1    # NIC for container network 192.168.7.0/24
ip li set veth0 netns testrt
ip li set veth1 netns testrt

brctl addif bridge2 testrt.eth1                    # connect veth1 to container network
ip netns exec testrt ip addr add 192.168.7.100 dev veth1

ip li set testrt.eth0 up
ip netns exec testrt ip li set veth0 up
ip li set testrt.eth1 up
ip netns exec testrt ip li set veth1 up

ip li set testrt.eth0 promisc on
ip netns exec testrt ip li set veth0 promisc on
ip li set testrt.eth1 promisc on
ip netns exec testrt ip li set veth1 promisc on

这个路由 testrt 现在连接到主机1内部的 ens34 。开始为testrt安装路由：

# On host 1
# make sure packet going container network are routed into testrt
ip route add 192.168.7.0/24 dev testrt.eth0

# Install testrt router table
ip netns exec testrt ip route add 192.168.7.0/24 dev veth1
ip netns exec testrt ip route add 10.32.171.0/24 dev veth0

# You should be able to ping or ping from testrt now
ping 192.168.7.100
ip netns exec testrt ping 192.168.7.2
ip netns exec testrt ping 192.168.7.4
ip netns exec testrt ping 10.32.171.202

为了让testrt作为网关，在每个主机与每个容器上进行相应的设置。

# On each host
ip netns exec ${TEST_PID} ip route add 10.32.171.0/24 via 192.168.7.100 dev veth2

# On each host except host 1 (host 1 already has route to testrt)
ip route add 192.168.7.0/24 via 10.32.171.202 dev ens32

现在，你应该可以从所有的主机(位于10.32.171.0/24)ssh到任意容器(处于192.168.7.0/24)，反之亦然。

# On host 1
ssh root@192.168.7.2 'cat /etc/hostname'
ssh root@192.168.7.4 'cat /etc/hostname'
docker exec -it test1.1 ssh root@10.32.171.202 'cat /etc/hostname'
docker exec -it test1.1 ssh root@10.32.171.204 'cat /etc/hostname'

# On host 3
ssh root@192.168.7.2 'cat /etc/hostname'
ssh root@192.168.7.4 'cat /etc/hostname'
docker exec -it test3.1 ssh root@10.32.171.202 'cat /etc/hostname'
docker exec -it test3.1 ssh root@10.32.171.204 'cat /etc/hostname'

在这里失败了，主机1试图ping通到192.168.7.2时，ICMP请求可以在test1.1的veth0看见，但无法到达veth1。我尝试使用容器（testrt2），而不是网络Namespaces去创建testrt，但仍在同样的地方受困。主机3试图ping通到192.168.7.101（容器 testrt2）时，以10.32.171.204为目标的arp请求可以被testrt2.eth0监听到，但 ens32 不行。还有一个问题，testrt2甚至无法ping通10.32.171.202。

第六阶段：使用主机1和Container test1.1作为路由（失败）

对我来说，使用网络Namespaces或者容器在主机1内部创建虚拟路由是很困难的。因此，通过调整ip路由，我将使用主机1作为路由。首先，删除在第五阶段创建的网关设置。

# On each host
ip route del 192.168.7.0/24
ip netns exec ${TEST_PID} ip route del 10.32.171.0/24

# On host 1
brctl delif bridge2 testrt.eth1

我的计划是这样的：使用主机1作为10.32.171.0/24的路由或者网关，使用test1.1作为192.168.7.0/24的路由或网关，并将主机1与test1.1套在一起，使主机1与test1.1成为一个新的Veth pair。

# On host 1
ip li add ${TEST_PID}.eth3 type veth peer name veth3
ip li set veth3 netns ${TEST_PID}

ip li set ${TEST_PID}.eth3 promisc on
ip netns exec ${TEST_PID} ip li set veth3 promisc on

ip li set ${TEST_PID}.eth3 up
ip netns exec ${TEST_PID} ip li set veth3 up

ip route add 192.168.7.0/24 dev ${TEST_PID}.eth3
ip netns exec ${TEST_PID} ip route add 10.32.171.0/24 dev veth3

# Now you should be able to ping test1.1
ping 192.168.7.2

在其他主机和容器设置网关。

# On host 2 and 3
ip route add 192.168.7.0/24 via 10.32.171.202 dev ens32
ip netns exec ${TEST_PID} ip route add 10.32.171.0/24 via 192.168.7.2 dev veth2

失败：主机1试图ping通192.168.7.4时，test1.1的veth3发现了ICMP请求，但veth2没有得到传递，遇到了和第五阶段同样的问题。还有一个问题，test1.1甚至无法pign通主机1。至少，我可以从这里得出一些结论：

如果没有设置ip，或者设置的ip没有和数据包处于同一个网络范围内，NIC将无法发送数据包，即使ip路由显示已经接收到来自NIC的数据包，NIC也会遇到同样的情况。
创建一个容器，然后，将Veth pair一个放置在容器，一个放置在主机，这样做是无法将容器连接到主机的。
要经常在每个hop上，双向地测试网络的连接状态。

第七阶段：终于，路由可以正常工作了。

这部分，通过使用namework namespaces，我将创建一个属于主机1的虚拟路由。容器网络192.168.7.0/24和主机网络10.32.171.205/24将使用这个路由相互连接。首先，清除上面两个失败案例留下来的乱局。

# On host 1
ip netns exec ${TEST_PID} ip li del veth3
brctl delif bridge2 testrt.eth0
brctl delif bridge2 testrt.eth1
brctl delif bridge2 testrt2.eth0
brctl delif bridge2 testrt2.eth0

# On each host
ip route del 192.168.7.0/24
ip netns exec ${TEST_PID} ip route del 10.32.171.0/24

使用网络Namespaces创建一个名为 testrt3 的路由。

# On host 1
ip netns add testrt3
ip li add testrt3.eth0 type veth peer name veth0    # NIC for host network 10.32.171.0/24
ip li add testrt3.eth1 type veth peer name veth1    # NIC for container network 192.168.7.0/24
ip li set veth0 netns testrt3
ip li set veth1 netns testrt3

brctl addif bridge2 testrt3.eth1                    # connect veth1 to container network
ip netns exec testrt3 ip addr add 192.168.7.100 dev veth1

ip li set testrt3.eth0 up
ip netns exec testrt3 ip li set veth0 up
ip li set testrt3.eth1 up
ip netns exec testrt3 ip li set veth1 up

ip netns exec testrt3 ip route add 192.168.7.0/24 dev veth1
ip netns exec testrt3 ip route add 10.32.171.0/24 dev veth0

为testrt3设置容器的路由。

# On each host
ip netns exec ${TEST_PID} ip route add 10.32.171.0/24 via 192.168.7.100 dev veth2

# You should be able to ping router from container
ip netns exec ${TEST_PID} ping 192.168.7.100

这时，当我从容器ping到主机时，我可以在testrt3的veth1上看到ICMP或者arp请求，但它们无法传递到testrt3的veth0.接下来，为了将testrt3的veth0连接到主机1，我将创建一个bridge，这个bridge连接的是 10.32.171.0/24，而不是 ens32 。

# On host 1
brctl addbr br-ens32
ip li set br-ens32 promisc on

# Add ens32 to br-ens32, host 1 will be temporarily disconnected
ip addr del 10.32.171.202/24 dev ens32 && \
ip addr add 10.32.171.202/24 dev br-ens32 && \
brctl addif br-ens32 ens32 && \
ip route add default via 10.32.171.1 dev br-ens32 && \    # add default route. in my case it is 10.32.171.1
ip link set dev br-ens32 up

# Reconnect to host 1, restore the original routes
ip route add 169.254.0.0/16 dev br-ens32 metric 1002    # the cloud init address
ip route add 192.168.6.3 via 10.32.171.203 dev br-ens32
ip route add 192.168.6.4 via 10.32.171.204 dev br-ens32

# Restore the host NAT for 192.168.5.0/24
LINENO_MASQ=$(iptables -L POSTROUTING -v --line-numbers -t nat | grep 'MASQUERADE .* ens32 .* 192.168.5.0' | awk '{print $1}')
iptables -D POSTROUTING ${LINENO_MASQ} -t nat
iptables -t nat -A POSTROUTING -j MASQUERADE -s 192.168.5.0/24 -o br-ens32

现在，我们可以连接testrt3的veth0和10.32.171.0/24。

# On host 1
brctl addif br-ens32 testrt3.eth0

接下来，为testrt3的veth0增加一个ip地址，这个ip地址面向10.32.171.0/24。我从网络管理员借来了10.32.171.205，现在，双方的路由NIC都应该有ip了。

# On host 1
ip netns exec testrt3 ip addr add 10.32.171.205 dev veth0

# You should be able to ping router
ping 10.32.171.205
ip netns exec testrt3 ping 10.32.171.202

为testrt3设置主机的网关。

# On host 1
ip route add 192.168.7.0/24 via 10.32.171.205 dev br-ens32

# On host 2 and 3
ip route add 192.168.7.0/24 via 10.32.171.205 dev ens32

现在，我可以从所有主机ssh到任意容器了，反之亦然。

# On host 1
ssh root@192.168.7.2 'cat /etc/hostname' && \
ssh root@192.168.7.4 'cat /etc/hostname' && \
docker exec -it test1.1 ssh root@10.32.171.202 'hostname' && \
docker exec -it test1.1 ssh root@10.32.171.204 'hostname' && \
docker exec -it test1.1 ssh root@192.168.7.2 'cat /etc/hostname' && \
docker exec -it test1.1 ssh root@192.168.7.4 'cat /etc/hostname'

# On host 3
ssh root@192.168.7.2 'cat /etc/hostname' && \
ssh root@192.168.7.4 'cat /etc/hostname' && \
docker exec -it test3.1 ssh root@10.32.171.202 'hostname' && \
docker exec -it test3.1 ssh root@10.32.171.204 'hostname' && \
docker exec -it test3.1 ssh root@192.168.7.2 'cat /etc/hostname' && \
docker exec -it test3.1 ssh root@192.168.7.4 'cat /etc/hostname'

现在，路由终于可以正常工作了。要点：所有路由的NIC都要有ip，这个ip来自它所要面向的网络范围，此外，在相对应的一方，其他容器或主机要为这个路由ip设置网关。在之前的几个阶段中，我经常尝试避免为路由使用额外的ip，例如，10.32.171.205，尽管这没用。

特点

使用gre/vxlan，为容器设置私有的隧道网络，并为它们增加路由。

原文链接：Play with Docker Network（翻译：洪国安校对：魏小红）

============================================
译者介绍
洪国安，编程爱好者，目前是一名大三学生，希望通过帮社区翻译，提高自己的知识面。

原文发布时间为：2015-05-24

本文作者：Arthur

本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。

原文标题：玩转Docker Network

微信关注我们

原文链接：https://yq.aliyun.com/articles/224801

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MESOS-UI介绍：Apache Mesos的另一种前端选择

本文讲的是MESOS-UI介绍：Apache Mesos的另一种前端选择，【编者的话】Mesos-ui开源啦，有兴趣赶紧试试吧。今天，我们正式将 mesos-ui 开源 - 这是一个针对Apache Mesos的实时、响应式设计的控制台，使用 React.JS 、 D3 、 Nodejs 、 Socket.io 和 Google Material UI for React 构建。作为 Apollo 工作的一部分，我们觉得可以改进Mesos所提供的UI成开箱即用的工具，并且开始将这些想法整合到一起，并完成了一些观点论证。今天我们将观点论证发布出来，希望能够帮助到社区里的同志们，请帮助我们测试，并报告bug，或者更进一步参与到开发中来。试一试吧运行UI的最简单的方法是运行一个Docker容器。可以通过执行下述命令完成（在开发模式）： dockerrun-p5000:5000-p8000:8000capgemini/mesos-ui 该命令会在5000端口启动UI，同时在8000端口启动后台stub（JSON）服务器。stub json服务器使得用户无需运行Mesos集群，就可以...

2017-09-26

658

本文讲的是阿里云大幅降低CDN价格网宿蓝汛跟不跟?【IT168评论】5月21日，阿里云计算宣布旗下“极速CDN”(内容分发网络)服务降价，称“将以国内最低的价格服务客户”。该轮降价最高降幅达到21%，调整后价格将相当于传统CDN厂商一半的价格。正准备向云计算进军的网宿科技，再次面临大本营遭围攻的窘境。一年前，阿里云、中国电信等相继宣布进军CDN行业，这直接导致了网宿科技持续了15个月的股价上涨在2014年3月戛然而止。此次降价的原因，阿里云将其归结为成本的降低。阿里云计算CTO章文嵩表示：“我们愿意对外分享技术革新带来的红利，以普惠科技降低企业云计算成本，支持更广泛的创新创业。” 国内CDN市场空间巨大章文嵩：但不属于传统厂商 CDN(Content Delivery Network)被称为内容分发网络，是缓解网络拥塞、提高互联网业务响应速度的重要手段。CDN服务的质量直接决定了用户的视频、网购、网页浏览等体验。伴随着移动互联网的崛起，CDN市场也越来越被重视。据统计机构预测，2015年全球CDN市场规模约为60亿美元。此前国内CDN的普及率远不及欧美国家，随着“互联网+”概念...

2017-09-26

614

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。