利用 Kuryr 整合 OpenStack 与 Kubernetes 网络-低调大师

利用 Kuryr 整合 OpenStack 与 Kubernetes 网络

2018-12-13 640

Kubernetes Kuryr 是 OpenStack Neutron 的子项目，其主要目标是通过该项目来整合 OpenStack 与 Kubernetes 的网络。该项目在 Kubernetes 中实作了原生 Neutron-based 的网络，因此使用 Kuryr-Kubernetes 可以让你的 OpenStack VM 与 Kubernetes Pods 能够选择在同一个子网上运作，并且能够使用 Neutron 的 L3 与 Security Group 来对网络进行路由，以及阻挡特定来源 Port。

Kuryr-Kubernetes 整合有两个主要组成部分：

Kuryr Controller:
Controller 主要目的是监控 Kubernetes API 的来获取 Kubernetes 资源的变化，然后依据 Kubernetes 资源的需求来执行子资源的分配和资源管理。
Kuryr CNI：主要是依据 Kuryr Controller 分配的资源来绑定网络至 Pods 上。

本篇我们将说明如何利用DevStack与Kubespray建立一个简单的测试环境。

环境资源与事前准备

准备两台实体机器，这边测试的操作系统为CentOS 7.x，该环境将在扁平的网络下进行。

IP Address 1	Role
172.24.0.34	controller, k8s-master
172.24.0.80	compute, k8s-node1

更新每台节点的 CentOS 7.x packages:

$ sudo yum --enablerepo=cr update -y

然后关闭 firewalld 以及 SELinux 来避免实现发生问题：

$ sudo setenforce 0 
$ sudo systemctl disable firewalld && sudo systemctl stop firewalld

OpenStack Controller 安装

首先进入172.24.0.34（controller），并且执行以下指令。

然后执行以下指令来建立 DevStack 专用使用者：

$ sudo useradd -s /bin/bash -d /opt/stack -m stack
$ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack

选用 DevStack 是因为现在都是用 Systemd 来管理服务，不用再用 screen 了，虽然都很方便。

接着切换至该使用者环境来建立 OpenStack：

$ sudo su - stack

下载 DevStack 安装套件：

$ git clone https://git.openstack.org/openstack-dev/devstack
$ cd devstack

新增local.conf文件，来描述部署信息：

[[local|localrc]]
HOST_IP=172.24.0.34
GIT_BASE=https://github.com

ADMIN_PASSWORD=passwd
DATABASE_PASSWORD=passwd
RABBIT_PASSWORD=passwd
SERVICE_PASSWORD=passwd
SERVICE_TOKEN=passwd
MULTI_HOST=1

修改 HOST_IP 为自己的 IP 位置。

完成后，执行以下指令开始部署：

$ ./stack.sh

Openstack Compute 安装

进入到172.24.0.80（compute），并且执行以下指令。

然后执行以下指令来建立 DevStack 专用使用者：

$ sudo useradd -s /bin/bash -d /opt/stack -m stack
$ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack

选用 DevStack 是因为现在都是用 Systemd 来管理服务，不用再用 screen 了，虽然都很方便。

接着切换至该使用者环境来建立 OpenStack：

$ sudo su - stack

下载 DevStack 安装套件：

$ git clone https://git.openstack.org/openstack-dev/devstack
$ cd devstack

新增local.conf文件，来描述部署信息：

[[local|localrc]]
HOST_IP=172.24.0.80
GIT_BASE=https://github.com
MULTI_HOST=1
LOGFILE=/opt/stack/logs/stack.sh.log
ADMIN_PASSWORD=passwd
DATABASE_PASSWORD=passwd
RABBIT_PASSWORD=passwd
SERVICE_PASSWORD=passwd
DATABASE_TYPE=mysql

SERVICE_HOST=172.24.0.34
MYSQL_HOST=$SERVICE_HOST
RABBIT_HOST=$SERVICE_HOST
GLANCE_HOSTPORT=$SERVICE_HOST:9292
ENABLED_SERVICES=n-cpu,q-agt,n-api-meta,c-vol,placement-client
NOVA_VNC_ENABLED=True
NOVNCPROXY_URL="http://$SERVICE_HOST:6080/vnc_auto.html"
VNCSERVER_LISTEN=$HOST_IP
VNCSERVER_PROXYCLIENT_ADDRESS=$VNCSERVER_LISTEN

Tips:
修改 HOST_IP 为自己的主机位置。
修改 SERVICE_HOST 为 Master 的IP位置。

完成后，执行以下指令开始部署：

$ ./stack.sh

建立 Kubernetes 集群环境

首先确认所有节点之间不需要 SSH 密码即可登入，接着进入到172.24.0.34（k8s-master）并且执行以下指令。

接着安装所需要的套件：

$ sudo yum -y install software-properties-common ansible git gcc python-pip python-devel libffi-devel openssl-devel
$ sudo pip install -U kubespray

完成后，新增 kubespray 配置文件：

$ cat <<EOF > ~/.kubespray.yml
kubespray_git_repo: "https://github.com/kubernetes-incubator/kubespray.git"
# Logging options
loglevel: "info"
EOF

然后利用 kubespray-cli 快速生成环境的inventory文件，并修改部分内容：

$ sudo -i
$ kubespray prepare --masters master --etcds master --nodes node1

编辑/root/.kubespray/inventory/inventory.cfg，修改以下内容：

[all]
master ansible_host=172.24.0.34 ansible_user=root ip=172.24.0.34
node1 ansible_host=172.24.0.80 ansible_user=root ip=172.24.0.80 [kube-master]
master

[kube-node]
master
node1

[etcd]
master

[k8s-cluster:children]
kube-node1
kube-master

完成后，即可利用 kubespray-cli 指令来进行部署：

$ kubespray deploy --verbose -u root -k .ssh/id_rsa -n calico

经过一段时间后就会部署完成，这时候检查节点是否正常：

$ kubectl get no
NAME STATUS AGE VERSION
master Ready,master 2m v1.7.4
node1 Ready 2m v1.7.4

接着为了方便让 Kuryr Controller 简单取得 K8s API Server，这边修改/etc/kubernetes/manifests/kube-apiserver.yml档案，加入以下内容：

- "--insecure-bind-address=0.0.0.0" - "--insecure-port=8080"

Tips:
将 insecure 绑定到 0.0.0.0 之上，以及开启 8080 Port。

安装 Openstack Kuryr

进入到172.24.0.34（controller），并且执行以下指令。

首先在节点安装所需要的套件：

$ sudo yum -y install gcc libffi-devel python-devel openssl-devel install python-pip

然后下载 kuryr-kubernetes 并进行安装：

$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
$ pip install -e kuryr-kubernetes

新增kuryr.conf至/etc/kuryr目录：

$ cd kuryr-kubernetes
$ ./tools/generate_config_file_samples.sh
$ sudo mkdir -p /etc/kuryr/
$ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf

接着使用 OpenStack Dashboard 建立相关项目，在浏览器输入Dashboard，并执行以下步骤。

新增 K8s project。
修改 K8s project member 加入到 service project。
在该 Project 中新增 Security Groups，参考kuryr-kubernetes manually。
在该 Project 中新增 pod_subnet 子网。
在该 Project 中新增 service_subnet 子网。

完成后，修改/etc/kuryr/kuryr.conf文件，加入以下内容：

[DEFAULT]
use_stderr = true
bindir = /usr/local/libexec/kuryr

[kubernetes]
api_root = http://172.24.0.34:8080 [neutron]
auth_url = http://172.24.0.34/identity
username = admin
user_domain_name = Default
password = admin
project_name = service
project_domain_name = Default
auth_type = password

[neutron_defaults]
ovs_bridge = br-int
pod_security_groups = {id_of_secuirity_group_for_pods}
pod_subnet = {id_of_subnet_for_pods}
project = {id_of_project}
service_subnet = {id_of_subnet_for_k8s_services}

完成后执行 kuryr-k8s-controller：

$ kuryr-k8s-controller --config-file /etc/kuryr/kuryr.conf

安装 Kuryr-CNI

进入到172.24.0.80（node1）并且执行以下指令。

首先在节点安装所需要的套件：

$ sudo yum -y install gcc libffi-devel python-devel openssl-devel python-pip

然后安装 Kuryr-CNI 来提供给 kubelet 使用：

$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
$ sudo pip install -e kuryr-kubernetes

新增kuryr.conf至/etc/kuryr目录：

$ cd kuryr-kubernetes
$ ./tools/generate_config_file_samples.sh
$ sudo mkdir -p /etc/kuryr/
$ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf

修改/etc/kuryr/kuryr.conf档案，加入以下内容：

[DEFAULT]
use_stderr = true
bindir = /usr/local/libexec/kuryr
[kubernetes]
api_root = http://172.24.0.34:8080

建立 CNI bin 与 Conf 目录：

$ sudo mkdir -p /opt/cni/bin
$ sudo ln -s $(which kuryr-cni) /opt/cni/bin/
$ sudo mkdir -p /etc/cni/net.d/

新增/etc/cni/net.d/10-kuryr.conf CNI 配置文件：

{ "cniVersion": "0.3.0", "name": "kuryr", "type": "kuryr-cni", "kuryr_conf": "/etc/kuryr/kuryr.conf", "debug": true }

完成后，更新 oslo 与 vif python 库：

 $ sudo pip install 'oslo.privsep>=1.20.0' 'os-vif>=1.5.0'

最后重新启动相关服务：

sudo systemctl daemon-reload && systemctl restart kubelet.service

测试结果

我们这边开一个 Pod 与 OpenStack VM 来进行沟通：

本文转自kubernetes中文社区- 利用 Kuryr 整合 OpenStack 与 Kubernetes 网络

微信关注我们

原文链接：https://yq.aliyun.com/articles/679460

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于Kubeadm的Flannel分析

Flannel概述 Flannel是将多个不同子网（基于主机Node）通过被Flannel维护的Overlay网络拼接成为一张大网来实现互联的，通过官方的一张网络拓扑图我们可以对其基本原理一目了然：值得探讨的是，flannel的这个overlay网络支持多种后端实现，除上图中的UDP，还有VXLAN和host-gw等。此外，flannel支持通过两种模式来维护隧道端点上FDB的信息，其中一种是通过连接Etcd来实现，另外一种是直接对接K8S，通过K8S添加删除Node来触发更新。 Flannel部署常见问题 1. Node状态显示为“NotReady” 我的K8S环境使用kubeadm来容器化运行K8S的各个组件（除kubelet直接运行在裸机上外），当我使用kubeadm join命令加入新的Minion Node到K8S集群中后，通过kubectl get node会发现所有的node都还是not ready状态，这是因为还没有配置好flannel网络。 2. 使用kube-flannel.yml无法创建DaemonSet 我使用的是K8S的1.6.4的版本，然后按照官方的说明，...

2018-12-14

517

首先来看下微服务化游戏容器化探索之路随着docker技术在近几年的快速发展，国内外掀起了一股容器之风。而我们也在这时，开启了游戏容器化的探索之路。最开始在docker容器的应用上，还是以VM的模式去部署，毕竟游戏是非常复杂的应用，没有统一的模式。除此之外，对于一项全新技术的应用，大家都很谨慎，一步一步地去实践。而在近一两年，部分游戏的架构也逐渐往微服务化方向转变，以下是一款游戏的架构游戏的逻辑层按不同的服务划分为不同的模块，每个模块都是高内聚低耦合，之间的通信通过消息队列（或者API）来实现。模块的版本通过CI/CD，实现镜像标准交付，快速部署。在这些模块中，大部分是无状态服务，很容易实现弹性伸缩。我们再来看另一款微服务化游戏的架构也是按功能模块划分不同的服务，前端通过HAProxy来代理用户请求，后端服务可以根据负载来实现扩缩容。在服务发现模块中，通过registrator来监视容器的启动和停止，根据容器暴露的端口和环境变量自动注册服务，后端存储使用了consul，结合consul-template来发现服务的变化时，可以更新业务配置，并重载。对于这些微服务化的游戏，服务...

2018-12-14

622

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。