微服务架构Day31-Dubbo之持续集成-低调大师

微服务架构Day31-Dubbo之持续集成

2021-05-18 560

Dubbo之GitLab Runner部署持续集成

概念
GitLab Runner

概念

服务治理遇到的问题
- 在微服务项目中每个服务都是独立运行的项目
- 不可能对每个项目进行手动部署,涉及到自动化运维的问题

持续集成

持续集成(Continues Integration,简称CI)
持续集成指的是,频繁(一天多次)地将代码集成到主干,优点有两个:
- 快速发现错误: 每完成一点更新, 就集成到主干,可以快速发现错误,定位错误
- 防止分支大幅偏离主题: 如果不是经常集成,主干又在不断更新,会导致以后集成难度变大,甚至难以集成
持续集成强调:开发人员提交了新的代码之后,立即进行构建,(单元)测试,根据测试结果,确定新代码和原有代码能否集成到一起
与集成相关的概念还有持续交付和持续部署

使用GitLab持续集成

GitLab8.0以后,GitLab CI就已经集成在GitL中,只要在项目中添加一个 .gitlab-ci.yml文件,然后添加一个Runner,就可以进行持续集成
Pipeline
- Pipeline: 管道 ,一次Pipeline相当于一次构建任务,可以包含多个流程:安装依赖,运行测试,编译,部署测试服务器,部署生产服务器等流程
- 任何提交或者Merge Request的合并都可以触发Pipeline
Stages
- Stages表示构建阶段,也就是上面的流程,可以在一次Pipeline中构建多个Stages,这些Stages的特点:
  - 所有Stages会按照顺序运行: 即当一个Stage完成后,下一个Stage才会开始
  - 只有当所有Stages完成后,该构建任务(Pipeline)才会成功
  - 如果任何一个Stage失败,那么后续的Stages都不会执行,该构建任务(Pipeline)失败
Jobs
- Jobs表示构建工作,表示某个Stage里面执行的工作,可以在Stages里定义多个Jobs,这些Jobs特点:
  - 相同Stage中的Jobs会并行执行
  - 相同Stage中的Jobs都执行成功时,该Stage才会执行成功
  - 如果任何一个Job失败,那么该Stage失败,即构建任务(Pipeline)失败

持续交付

持续交付(Continuous Delivery):
- 频繁地将软件的新版本,交付给质量团队或用户以供评审
- 评审通过,代码就进入生产阶段
持续交付是持续集成的下一步,强调的是:不管怎么更新,软件是随时随地可以交付的
持续交付是在持续集成的基础上,将集成后的代码部署到更接近真实运行环境的类生产环境(production-like environment)中

持续部署

持续部署(Continuous Deployment)是持续交付的下一步,指的是代码通过评审后,自动部署到生产环境
持续部署的目标: 代码在任何时刻都是可部署的,可进入生产阶段
持续部署的前提: 自动化完成测试,构建,部署等步骤

GitLab Runner

GitLab CI

一般来说,构建任务会占用很多的系统资源(编译代码时),由于GitLab CI是GitLab的一部分,由GitLab CI来运行构建任务的化,GitLab的性能会大大下降
GitLab CI最大的作用: 是管理各个项目的构建状态

GitLab Runner

GitLab Runner可以安装到不同的机器上,在构建任务运行期间不会影响GitL的性能
基于Docker安装GitLab Runner:

1.创建工作目录: /usr/local/docker/runner
2.创建构建目录: /usr/local/docker/runner/environment
3.下载jdk-8u152-linux-x64.tar.gz复制到/usr/local/docker/runner/environment
4.下载apache-maven-3.5.3-bin.tar.gz复制到/usr/local/docker/runner/environment


daemon.json
1.在/usr/local/docker/runner/environment目录下创建daemon.json,用于配置加速器和仓库地址
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
{
	"registry-mirrors":[
		"https://registry.docker-cn.com"
	],
	"insecure-registries":[
		"127.0.0.1:5000"
	]
}
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


Dockerfile
1.在 /usr/local/docker/runner/environment目录下创建Dockerfile
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
FROM gitlab/gitlab-runner
MAINTAINER Lusifer <topsale@vip.qq.com>
# 修改软件源
RUN echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse' > /etc/apt/sources.list && \
    echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse' >> /etc/apt/sources.list && \
    echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse' >> /etc/apt/sources.list && \
    echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse' >> /etc/apt/sources.list && \
    apt-get update -y && \
    apt-get clean
# 安装 Docker
RUN apt-get -y install apt-transport-https ca-certificates curl software-properties-common && \
    curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add - && \
    add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" && \
    apt-get update -y && \
    apt-get install -y docker-ce
COPY daemon.json /etc/docker/daemon.json
# 安装 Docker Compose
WORKDIR /usr/local/bin
RUN wget https://raw.githubusercontent.com/topsale/resources/master/docker/docker-compose
RUN chmod +x docker-compose
# 安装 Java
RUN mkdir -p /usr/local/java
WORKDIR /usr/local/java
COPY jdk-8u152-linux-x64.tar.gz /usr/local/java
RUN tar -zxvf jdk-8u152-linux-x64.tar.gz && \
    rm -fr jdk-8u152-linux-x64.tar.gz
# 安装 Maven
RUN mkdir -p /usr/local/maven
WORKDIR /usr/local/maven
# RUN wget https://raw.githubusercontent.com/topsale/resources/master/maven/apache-maven-3.5.3-bin.tar.gz
COPY apache-maven-3.5.3-bin.tar.gz /usr/local/maven
RUN tar -zxvf apache-maven-3.5.3-bin.tar.gz && \
    rm -fr apache-maven-3.5.3-bin.tar.gz
# COPY settings.xml /usr/local/maven/apache-maven-3.5.3/conf/settings.xml
# 配置环境变量
ENV JAVA_HOME /usr/local/java/jdk1.8.0_152
ENV MAVEN_HOME /usr/local/maven/apache-maven-3.5.3
ENV PATH $PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

WORKDIR /
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

docker-compose.yml
在 /usr/local/docker/runner 目录下创建 docker-compose.yml
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
# 表示从 environment 目录下寻找 Dockerfile，即在Docker 里装 Docker
version: '3.1'
services:
  gitlab-runner:
    build: environment
    restart: always
    container_name: gitlab-runner
    privileged: true
    volumes:
      - ./config:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

构建镜像并启动
- 在/usr/local/docker/runner目录下执行:
```
docker-compose build
```

注册 Runner

启动容器在/usr/local/docker/runner目录下执行命令启动:

docker-compose up

进入容器自动执行注册流程,在/usr/local/docker/runner目录下执行(后面gitlab-runner register时脚本命令):

docker exec -it gitlab-runner gitlab-runner register

打开 GitLab,进入持续集成设置界面
在交互式终端中填入 Git Lab 提供的 URL 和 token

Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
http://192.168.1.21/
Please enter the gitlab-ci token for this runner:
kTx_PUnx_hhy63pNJtqM
Please enter the gitlab-ci description for this runner:
[c77b5e39a2a6]: 
Please enter the gitlab-ci tags for this runner (comma separated):

Registering runner... succeeded                     runner=kTx_PUnx
Please enter the executor: docker, shell, ssh, docker-ssh+machine, docker+machine,     kubernetes, docker-windows, docker-ssh, parallels, virtualbox:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config   should be automatically reloaded!

 docker exec -it gitlab-runner gitlab-runner register

 # 交互式配置说明:

 # 输入GitLab地址
 Please enter the gitlab-ci coordinator URL(e.g. https://gitlab.com/)
 http://192.168.32.255/

 # 输入GitLab Token
 Please enter the gitlab-ci token for this runner:
 kTx_PUnx_hhy63pNJtqM

 # 输入Runner的说明
 Please enter the gitlab-ci description for this runner:
 可以不填为空

 # 设置Tag,用于指定在构建规定的tag时触发ci,如果不设置,默认每次都会触发ci
 Please enter the gitlab-ci tags for this runner (comma separate):
 deploy

 # 这里选择true,用于代码上传后直接执行
 Whether to run utagged builds [true/false]:
 true

 # 这里选择false,可以直接回车,默认false
 Whether to lock Runner to current project [true/false]:
 false

 # 选择runner执行器,这里选择shell
 Please enter the executor: virtualbox,docker+machine,parallels,shell,ssh,docker-ssh+machine,kubernetes,docker,docker-ssh:
 shell

使用Runner

在项目工程下编写 .gitlab-ci.yml文件:

stages:
 - install_deps
 - test
 - build
 - deploy_test
 - deploy_production

cache:
 key: ${CI_BUILD_REF_NAME}
 paths:
  - node_modules/
  - dist/

# 安装依赖
install_deps:
 stage: install_deps
 only:
  - develop
  - master
 script:
  - npm install

# 运行测试用例
test:
 stage: test
 only:
  - develop
  - master
 script:
  - npm run test

# 编译
build:
 stage: build
 only:
  - develop
  - master
 script:
  - npm run clean
  - npm run build:client
  - npm run build:server

# 部署测试服务器
deploy_test:
 stage: deploy_test
 only:
  - develop
 script:
  - pm2 delete app || true
  - pm2 start app.js --name app

# 部署生产服务器
deploy_production:
 stage: deploy_production
 only:
  - master
 script:
  - bash scripts/deploy/deploy.sh

提交项目之后,就会执行Runner

在项目工程下创建docker文件夹,创建Dockerfile

FROM openjdk:8-jre

MAINTAINER Chova

# 环境变量
ENV APP_VERSION 1.0.0-SNAPSHOT
# Docker插件,用来检测依赖项,只有依赖项启动才会启动
ENV DOCKERIZE_VERSION v0.6.1

RUN wget https://github.com/jwilder/dockerize/release/download/$DOCKERIZE_VERSION/dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz \
	&& tar -C /usr/local/bin -xzvf dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz \
	&& rm dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz 

RUN mkdir /app

COPY myshop-service-user-provider-$APP_VERSION.jar /app/app.jar
ENTRYPOINT ["dockerize", "-timeout", "5m", "-wait", "tcp://192.168.32.255.131:3306", "java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app/app.jar"]

EXPOSE 8501

Dockerfile:

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
FROM openjdk:8-jdk-alpine
VOLUME /tmp
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","/app.jar"]
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

1.FROM: 这是引入一个父镜像,在此基础上进行添加只读层.镜像可以理解成由一层层只读层组成,
		FORM下面的命令,可以理解就是在已有的只读层,添加只读层.FORM可以有多个,但最上面的一定是FROM命令

2.VOLUME: 配置一个具有持久化功能的目录,主机 /var/lib/docker 目录下创建了一个临时文件,并链接到容器的/tmp.该步骤是可以省略的
		  默认情况下,容器不使用任何 volume,此时,容器的数据被保存在容器之内,它只在容器的生命周期内存在,会随着容器的被删除而被删除
		  如果不想在容器删除后,容器的数据也被删除,那么就可以指定持久化目录.它被设计用来保存数据，而不管容器的生命周期.因此,当你删除一个容器时,Docker不会自动地删除一个volume

3.ARG:设置编译镜像时加入的参数,可以省略

4.COPY:只支持将本地文件复制到容器,还有个ADD更强大但复杂点

5.ENTRYPOINT:容器启动时执行的命令

删除所有为的镜像

docker rmi $(docker images -q -f dangling=true)

在docker-compose.yml中配置默认使用已经存在的网络

version: '3.1'
services:
  myshop-service-user-provider:
    image: 192.168.32.255:5000/myshop-service-user-provider:v1.0.0
    container_name: myshop-service-user-provider
    ports:
      - 8501:8501
      - 22222:22222
      - 20881:20881
    # 配置容器连接的网络
networks:
  default:
    external:
      name: dubbo

微信关注我们

原文链接：https://blog.51cto.com/u_15185289/2783681

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

当WebRTC Pion示例无音频流的时候，如何添加音频模块并通过浏览器播放？

Pion WebRTC是纯Go语言实现的WebRTC框架库。可以用于开发WebRTC服务器和WebRTC客户端。API接口与JavaScript类似，减少学习成本。在TSINGSEE青犀视频研究pion的示例中，只有视频流，因此拉流肯定也会只拉到视频流，而不会有音频流。那如何添加音频流，并在浏览器播放出来？本文研究一下实现方法。由于pion示例没有音频流，因此要使用webrtc pion将音频流添加进去，需要修改的地方是webrtc pion的go服务，将音频流添加进去。我们先从Go服务端到浏览器端进行一次逻辑流程的分析。一、Go服务的修改 1、pion添加的视频流如下：所以需要在此处在添加个音频流。 2、pion接收的视频流，并添加个变量保存：此处需再添加个变量把音频轨道保存。 3、拉流添加轨道：以上go端的修改就完成了，下面进行浏览器端的修改。浏览器虽然比较简单，但是也需要进行修改。二、浏览器端的修改 1、向WebRTC Go服务推流，需要修改参数： 2、拉取WebRTC的流，需要添加音频：至此两个端的分析就已完毕，目前就可以大致知道对两个端如何修改了，具体修改内容则如下...

2021-05-18

815

前提很早之前就打算看一次JUC线程池ThreadPoolExecutor的源码实现，由于近段时间比较忙，一直没有时间整理出源码分析的文章。之前在分析扩展线程池实现可回调的Future时候曾经提到并发大师Doug Lea在设计线程池ThreadPoolExecutor的提交任务的顶层接口Executor只有一个无状态的执行方法： public interface Executor { void execute(Runnable command); } 而ExecutorService提供了很多扩展方法底层基本上是基于Executor#execute()方法进行扩展。本文着重分析ThreadPoolExecutor#execute()的实现，笔者会从实现原理、源码实现等角度结合简化例子进行详细的分析。ThreadPoolExecutor的源码从JDK8到JDK11基本没有变化，本文编写的时候使用的是JDK11。 ThreadPoolExecutor的原理 ThreadPoolExecutor里面使用到JUC同步器框架AbstractQueuedSynchronizer（俗称AQS）、大量...

2021-05-18

547

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。