CI实现方法之--Gitlab+Drone-低调大师

CI实现方法之--Gitlab+Drone

2020-05-21 821

写在前面：
进入到云计算的PAAS时代，起源Google的Kubernetes无疑成为了PAAS云服务的落地平台。自2017年开始，k8s平台已经成为容器编排的事实标准，为组织设计和部署应用程序带来全新定义。在之后的几年里国有云，国外云厂商陆续在IAAS平台发布PASS层产品。
在此基础上出现了CICD，即持续集成与持续交付是软件开发和交付中的实践。项目从最初是瀑布模型，到敏捷开发，再到现在的DevOps。这是现代开发人员构建出色的产品的技术路线。随着DevOps的兴起，出现了持续集成（Continuous Integration）、持续交付（Continuous Delivery）、持续部署（Continuous Deployment）的新方法。
笔者基于自身需求做了如下测试，希望对同行有所助力，相关文章会持续更新。

一、测试前提条件

实验环境说明
测试主机：阿里云主机
操作系统：CentOS 7.7
测试主机配置：2C，8G

主机名	公网IP	内网IP	ROLE	PORT
node1	39.104.88.120	172.16.0.93	gitlab	80
node2	39.104.93.96	172.16.0.94	drone，jenkins	80，8080
node3	39.104.70.51	172.16.0.98	harbor	80

所有节点安装docker
1) 安装必要的系统工具

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

2) 添加软件源

sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3) 更新并安装Docker-CE

sudo yum makecache fast
yum -y install docker-ce-18.09.9-3.el7

4) 启动Docker

systemctl start docker && systemctl enable docker

5) 配置Docker调优参数

tee  /etc/docker/daemon.json << EOF
{
"oom-score-adjust": -1000,
"log-driver": "json-file",
"log-opts": {
   "max-size": "100m",
   "max-file": "3"
},
"max-concurrent-downloads": 10,
"max-concurrent-uploads": 10,
"registry-mirrors": ["https://yefnfc9c.mirror.aliyuncs.com"],
"insecure-registries" : ["0.0.0.0/0"],
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF

6) 重启docker生效

systemctl restart docker

二、测试

测试说明

2.部署说明
2.1. 部署gitlab

docker run --detach --hostname 39.104.88.120 --publish 443:443 --publish 80:80 --publish 1022:22 --name gitlab --restart always --volume /srv/gitlab/config:/etc/gitlab --volume /srv/gitlab/logs:/var/log/gitlab --volume /srv/gitlab/data:/var/opt/gitlab gitlab/gitlab-ce:12.10.3-ce.0

注：39.104.88.120为本机实际节点外网IP

2.2. 部署Harbor
2.2.1. 安装docker-compose

curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose

2.2.2. 下载harbor

https://github.com/goharbor/harbor/releases/download/v1.10.2/harbor-online-installer-v1.10.2.tgz

2.2.3. 解压后配置harbo.yaml
hostname: 172.31.48.86 //修改为实际节点内网IP
屏蔽https配置部分
2.2.4. 安装Harbor

./install.sh --with-clair

2.2.5. 安装结果检查

docker-compose  ps    //正常回显如下

2.3. 部署Drone
2.3.1. 部署drone主应用
如何取得

DRONE_GITLAB_CLIENT_ID
DRONE_GITLAB_CLIENT_SECRET

 登录gitlab并配置gitlab外部认证

 应用回调接口申请

注：本测试采用docker run 部署drone，所以Url为：http://39.104.93.96/login，按自身部署drone环境修改Url。
 取得ApplicationID和secret

ApplicationID对应DRONE_GITLAB_CLIENT_ID
secret对应DRONE_GITLAB_CLIENT_SECRET

docker run \
  --volume=/var/run/docker.sock:/var/run/docker.sock \
  --volume=/var/lib/drone:/data \
  --env=DRONE_LOGS_DEBUG=true \
  --env=DRONE_GIT_ALWAYS_AUTH=false \
  --env=DRONE_GITLAB_SERVER=http://39.104.88.120 \
  --env=DRONE_GITLAB_CLIENT_ID=d6272993ac02c3bb4069d73bf0ff8dabeaff47c0739ae27d1a23e8b80e33faa5 \
  --env=DRONE_GITLAB_CLIENT_SECRET=01f454fe0a55256a974d420b8ca023df6efc80b33d8a917dd16138b152b73253 \
  --env=DRONE_RPC_SECRET=12345678\
  --env=DRONE_RUNNER_CAPACITY=3 \
  --env=DRONE_SERVER_HOST=39.104.93.96\
  --env=DRONE_SERVER_PROTO=http \
  --env=DRONE_TLS_AUTOCERT=false \
  --publish=80:80 \
  --publish=443:443 \
  --restart=always \
  --detach=true \
  --name=drone  \
  drone/drone:1

参数说明：

2.3.2. 部署Drone-runner

  docker run -d \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -e DRONE_RPC_PROTO=http \
  -e DRONE_RPC_HOST=172.16.0.94 \
  -e DRONE_RPC_SECRET=12345678 \
  -e DRONE_RUNNER_CAPACITY=3 \
  -e DRONE_RUNNER_NAME=${HOSTNAME} \
  -p 3000:3000 \
  --restart always \
  --name runner \
  drone/drone-runner-docker:1

参数说明：

Drone-runner检查

3.配置说明
3.1. 配置harbor
3.1.1. 增加项目：go-server
注:admin/Harbor12345

3.2. 配置gitlab
3.2.1. 增加项目：go-server

3.2.2. 项目go-server中创建相关文件

1) 增加主应用代码文件：server.go

package main

import (
    "fmt"
    "log"
    "net/http"
)

func hello(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "Hello World")
}

func main() {
    http.HandleFunc("/", hello)
    if err := http.ListenAndServe(":8080", nil); err != nil {
        log.Fatal(err)
    }
}

2) 创建Dockerfile，会被.drone.yml调用

FROM golang
WORKDIR /go
ADD server /go
CMD ["./server"]

3) 创建.drone.yml文件，此文件作用是按文件内容将任务传送至drone应用，进行CI动作。
注：此文件在配置drone完成后创建

kind: pipeline
type: docker
name: build
steps:
- name: build-code
  image: golang:alpine
  pull: if-not-exists # always never
  commands:
    - go build server.go
- name: build-image
  image: plugins/docker
  settings:
    repo: 172.16.0.98/go-server/go-server
    registry: 172.16.0.98
    use_cache: true
    username:
      from_secret: registry_username
    password:
      from_secret: registry_password
    tags: ${DRONE_BUILD_NUMBER}
    insecure: true
    mirror: https://yefnfc9c.mirror.aliyuncs.com/
trigger:
  branch:
  - master
  event:
  - push

3.3. 配置drone
3.3.1. 提示gitlab页确认后跳转drone
3.3.2. 点击已同步项目go-server

3.3.3. 点击已同步项目go-server后找到SETTINGS

3.3.4. SETTINGS设置Harbor登录信息
注：此处valuse值对应.drone.yml中常量值，下图标红处。key值为harbor用户及密码。

username:
  from_secret: registry_username
password:
  from_secret: registry_password

注：完成后创建.drone.yml文件，接3.2.2 .drone.yml内容。
4.测试效果说明
4.1. drone效果

4.2. harbor效果

4.3. 再次触发build
修改gitlab中go-server代码，就会再次出发build。

后续：

本次测试到此就告一段落，测试只是CICD中冰山一角，其他部分也会陆续更新。在这个新兴技术不断涌现的今天，通过不断的学习跟上时代步伐。现在有很多同学对k8s有研究，除了k8s本身外，其他围绕k8s附加功能也值得一学，希望本文及后续可以开启你k8s之路。

微信关注我们

原文链接：https://blog.51cto.com/tonegu/2497290

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

华为自研搜索引擎曝光：「花瓣」虽小，但要替代谷歌

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。基于安卓的华为手机，谷歌服务已经断供了。怎么办？包括搜索、地图等国外用户离不开的谷歌应用，华为如何替代？这不，外媒最近发现，华为旗下自研搜索应用——花瓣搜索，已经悄然面世。华为「花瓣」花瓣搜索（Petal Search），是华为为替换谷歌搜索而开发的新应用，提供即时搜索、快速浏览小工具和新闻流。具体而言，花瓣搜索将提供如下服务：应用推荐和搜索天气预报和新闻体育比分直播和赛程表视频、图片和音乐搜索财经新闻和股票市场更新安全保护另外，花瓣搜索还提供了酒店预订服务、航班信息和本地服务信息搜索。对于海外用户来说，被掐断了谷歌全家桶的华为手机，最大的问题就是应用程序安装和谷歌搜索等一系列服务。而花瓣搜索就旨在消除用户的顾虑。正如华为所强调的“应用推荐和搜索”，在花瓣搜索上搜索应用程序，系统会直接提供安装选项，而无需借道华为应用商店AppGallery。此前，华为也在AppGallery上线了“HERE WeGo”地图和导航解决方案，覆盖全球100多个国家、1300多个城市，以填补谷歌地图...

2020-05-25

612

人的精力是有限的，所以将目光聚焦在更小的范围内，也许能够得到性价比最高的效果。股票很多很多，但是我们关心的也许并不多，将自己关心或者符合自己买入股票的前提条件的股票纳入一个股票池，然后再一定时间内只关注这些股票，也许是一个不错的选择，入市有风险，投资需谨慎，本文不作为任何投资参考依据。数据源这里主要指免费的，收费的本人也没用过。比较推荐的数据源有两个tushare或者baostock. tushare需要注册(如果你需要质量更高的数据的话)。对获取频率或者小于日线频率的数据有限制。其他数据源 baostock 数据不需要注册，数据有维护者维护 akshare 数据源来源于各类财经网站 pytdx 通过通达信的数据接口获取的数据如果大家想注册tushare的话, 可以使用我的分享链接: https://tushare.pro/register?reg=277890 这样我能多50积分^_^ 使用何种方式获取数据都是可以的，看自己喜欢。安装安装很简单 pip install tushare pip install baostock pip install akshare ...

2020-05-24

525

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。