k8s+jenkins实现自动化部署应用至k8s集群

1.jenkins环境准备并启动jenkins服务

1）jdk环境配置

[root@centos7 ~]# ll /app/

[root@centos7 ~]# cat /etc/profile | tail -n3 #jdk的环境变量
export JAVA_HOME=/app/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar

2）准备好jenkins启动的war包

[root@centos7 war]# ll

3）查看jenkins的启动脚本

[root@centos7 war]# cat start.sh

4）启动jenkins

[root@centos7 war]# ./start.sh && tailf test.log

5）在数据目录修改hudson更新url，改为国内url，避免jenkins无法启动

[root@centos7 ~]# cat .jenkins/hudson.model.UpdateCenter.xml

6）准备好主机解析或添加到DNS服务器

[root@centos7 ~]# cat /etc/hosts

7）web端访问jenkins界面

8）创建一个jenkins_project项目，并编辑配置

9）在jenkins的后端准备好自动化部署脚本k8s_auto_deploy.sh，事先做好公私钥认证，使得jenkins能够访问k8s-master-1

[root@centos7 ~]# cat /data/script/k8s_auto_depoy.sh #!/bin/bash URL=git@k8s.gitlab.cn:middle-supoort-project/middle-compose-service.git Starttime=`date +"%Y-%m-%d_%H-%M-%S"` Method=$1 Branch=$2 t1=`date +"%Y-%m-%d %H:%M:%S"` #代码克隆至jenkins后端 clone_code(){ cd /root/.jenkins/workspace/jenkins_project && git clone -b $Branch ${URL}&& echo "Clone Finished" } #代码打包压缩并远程推送至k8s-master-1的nginx镜像制作目录 Pack_scp(){ cd /root/.jenkins/workspace/jenkins_project/middle-compose-service/ && tar cvzf nginx.tar.gz * && echo Package Finished scp nginx.tar.gz root@k8s-master-1:/data/Dockerfile/nginx/ && ssh root@k8s-master-1 'cd /data/Dockerfile/nginx/ && tar xvf nginx.tar.gz &&rm -f nginx.tar.gz' } #远程操作k8s-master-1节点，进行镜像制作并推送至harbor镜像仓库 build_iamge(){ ssh root@k8s-master-1 "cd /data/Dockerfile/nginx/ && ./build.sh ${Starttime} && echo 'build_image and push_harbor success!'" } #对k8s集群中的nginx的pod应用进行升级 app_update(){ ssh root@k8s-master-1 "sed -ri 's@image: .*@image: k8s.harbor.cn/base_application/nginx:${Starttime}@g' /data/mainfest/nginx.yaml" ssh root@k8s-master-1 "kubectl set image deployment/nginx-deployment nginx-container=k8s.harbor.cn/base_application/nginx:${Starttime} -n default --record=true" t2=`date +"%Y-%m-%d %H:%M:%S"` start_T=`date --date="${t1}" +%s` end_T=`date --date="${t2}" +%s` total_time=$((end_T-start_T)) echo "deploy success,it has been spent ${total_time} seconds" } #k8s集群中的pod应用进行回滚 app_rollback(){ ssh root@k8s-master-1 'kubectl rollout undo deployment/nginx-deployment -n default' } #进行k8s集群自动部署的主函数 main(){ case $Method in deploy) clone_code Pack_scp build_iamge app_update ;; rollback) app_rollback ;; esac } #执行主函数命令 main $1 $2

10）将jenkins的公钥配置到gitlab服务的web端，使得jenkins可以直接拉取代码无需认证

[root@centos7 ~]# cat .ssh/id_rsa.pub

2.k8s的master节点的准备

1）准备存放nginx应用镜像制作的路径，当前目录为空，其代码配置文件均已放在gitlab服务器中

[root@k8s-master-1 ~]# ll /data/Dockerfile/nginx
total 0

2）拉取harbor中的镜像的认证文件

[root@k8s-master-1 ~]# ll /etc/docker/certs.d/k8s.harbor.cn/harbor_ca.crt

3）k8s集群中nginx的yaml清单文件

[root@k8s-master-1 data]# vim /data/mainfest/nginx.yaml

4）通过nginx.yaml文件启动pod资源和service资源

[root@k8s-master-1 ~]# kubectl apply -f /data/mainfest/nginx.yaml

5）查看nginx的pod应用以及service资源是否启动

[root@k8s-master-1 ~]# kubectl get pod -n default

6）查看service资源

[root@k8s-master-1 ~]# kubectl get service -n default

7）web端访问

3.将nginx的镜像构建等相关配置文件上传到gitlab

1）以下为nginx的镜像配置文件，均在develop分支下

2）制作nginx镜像的Dockerfile文件

3）build.sh镜像的构建及自动推送至harbor的脚本

4）index.html页面文件

5）nginx的主配置文件

6）nginx的server访问路径配置文件

3.立即构建jenkins工程，实现自动化部署nginx应用至k8s集群

1）以上均准备完毕，开始构建jenkins工程

2）选择相应的分支后构建方法

3）开始构建工程

4）查看控制输出

5）查看k8s当前正在运行nginx的pod容器

[root@k8s-master-1 ~]# kubectl get pod -n default 

6）再查看当前正在运行pod的镜像源地址，可见被自动更新

[root@k8s-master-1 ~]# kubectl describe pod nginx-deployment-b856886fb-9mzrm -n default

7）查看nginx的yaml清单文件，也被自动修改

[root@k8s-master-1 ~]# cat /data/mainfest/nginx.yaml | grep "image:.*"

8）查看harbor镜像仓库，查看构建的新镜像是否成功推送到此harbor仓库中

9）web端访问更新的nginx版本，可见实现自动化更新

10）假设开发人员将gitlab中的index.html的版本更新为1.13版

11）再次构建发布更新

12）查看控制台输出结果

13）web端访问nginx应用

4.若当前版本有问题，需要回滚，执行以下回滚操作

1）jenkins的控制台选择rollback回滚

2）回滚过程的日志查看

3）web端验证访问，可见回滚成功