小博无线CI系统演进之路-低调大师

小博无线CI系统演进之路

2017-08-14 550

小博无线技术团队至2014年创建以来，这三年多以来所使用的CI系统经过数次升级换代，现已全部上云，全面实现了容器化和pipeline化，并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。

2014 - virtual box

2014年初，拼了一台16G内存的PC机，在上面开了多个virtual box，一个跑gitlab, 一个跑jenkins master, 剩下的几个就用于搭建build环境，作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行一个安装升级脚本。

遇到的问题

virtual box比较重，很耗资源，16G内存也跑不了几个虚拟机
virtual box实例是长期存在的，每次build都要注意对应的cleanup操作，避免不同的build之间相互干扰
每个虚拟机都需要单独的环境配置，复制成本高
scp+ssh的上线方式难以统一运作，基本上每个服务都需要定制；如果代码和配置都有变更，升级部署及回滚动作都可能相当复杂且风险较高

2015 - docker

2014年底，docker慢慢流行开来，容器比虚拟机要轻量很多，并且环境配置可以用Dockerfile很方便的以代码形式管理起来，我们便将原本以virtual box形式存在的jenkins slave都替换成了docker。

另外，将线上服务也容器化，将代码和配置统一装入一个docker image, 这样可以整体升级部署或回退，就消除了"代码和配置都有变更时，是先回滚配置，还是先回滚代码?"的难题。

遇到的问题

docker虽然解决了资源消耗的问题，但此时的docker仍然是作为长期存在的ssh slave来运行的，在build时仍然需要考虑对应的cleanup操作以避免不同的build之间相互干扰
每个服务的相关CI配置仍然是用jenkins web ui进行配置，变更比较麻烦，并且需要jenkins的配置权限

2016 - Jenkins pipeline & docker plugin

6月份，办公室停了两次电，有一次竟长达两天！为了解决停电问题对上线迭代的影响，我们将位于办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情，上云后，数据备份就方便多了。

另外，同年4月份Jenkins官方在新发布的Jenkins 2.0中开始全面推进pipeline，随着这次迁移，我们也一并实施了pipeline结合docker plugin的容器化改造。

pipeline化后，所有的build动作都通过代码仓库中的Jenkinsfile定义，完全不需要在jenkins的网页上进行配置，开发通过git push Jenkinsfile就能实现对CI流程的控制。

容器化后，CI的各种build环境也通过Dockerfile得以标准化，并且每次build的容器都是按需新建的，无需考虑cleanup操作。

2017 - mesos plugin & auto scaling

之前的docker plugin连接的docker cloud是一个单点ecs, 负责代码的编译，测试，打包，及部署操作，对于线上运行的各种微服务项目，还能应付，但如果用来跑编译路由器固件这种CPU密集型的任务，就力有未逮了。另一方面，预发布的测试集群由于流量很小，在绝大多数时候，各个节点的CPU都是空闲的。于是自然想到将预发布环境和CI环境进行扁平化：利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。

固件编译虽然很耗CPU，但这只是一个耗时不到1小时的短任务，如果为了一天只做几次的build而多开几台包月ecs，会带来巨大的浪费。使用自动伸缩，当jenkins提示mesos资源不足时，利用API创建按量ecs加入mesos集群，等build完成后就将它释放掉，是一种高性价比的解法。

结论

系统化、标准化是降低成本，提升效率和质量的重要手段。2014年开始搭建CI系统时，build环境、部署环境、部署方式和配置方式都很零散，难以管理和维护。从2014-2017，先用容器标准化build环境和部署环境，并用pipeline标准化部署方式和配置方式，有效降低系统复杂度后，再用云计算资源降低电力供应和数据备份的风险和维护成本，最后用"扁平"与"伸缩"[1]降低云计算成本。

[1] 在云计算的五种基本实践方法 - "冗余，漂移，伸缩，熔断，扁平"中，"扁平"与"伸缩"是两种提高资源利用率，降低成本的方法，这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (https://yq.aliyun.com/articles/62686)

微信关注我们

原文链接：https://yq.aliyun.com/articles/171991

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

干货：机器人开源操作系统ROS

导读：前不久，John 为大家介绍过物联网开源操作系统，或许大家还记忆犹新。今天，要介绍的是一款机器人领域的开源操作系统：ROS。简介 ROS，英文全称 Robot Operating System，即机器人操作系统。它的目标是为机器人软件开发者的提供了一个灵活的框架，其中包含一些列的工具、库和约定。同时，ROS还可以为异质计算机集群，提供了类似操作系统的中间件。总结起来，正如下图所示：ROS = 架构 + 工具 + 功能 + 生态系统。服务 ROS提供标准的操作系统服务例如硬件抽象、底层设备控制、常用功能实现、进程间消息传递、软件包管理。ROS基于一种图状架构，从而不同节点的进程能接受，发布，聚合各种信息(例如传感，控制，状态，规划等等)。分层 ROS可以分成两层：低层是操作系统层(上面有描述)，上层则是广大开发者贡献的功能各异的软件包例如定位绘图，行动规划，感知，模拟等等。生态系统 ROS生态系统的软件可以分成三组：独立于开发语言和平台的工具，用于构建和发布基于ROS的软件。 ROS客户端库的实现例如 roscpp、rospy、roslisp。利用一个或者多个ROS客...

2017-08-15

642

2014全球云计算大会于9月16日至18日在上海国际会议中心举行。此次大会聚焦云经济及战略、大数据、技术架构及企业应用、云数据中心、行业应用、开源云、云安全等重点议题。在云趋势及战略主题演讲会上，惠普首席技术官李为冲对云计算发表了一些自己的观点。李为冲为什么需要云计算现在全球经济低迷，中国同样面临着经济瓶颈，面对这样的形势需要在经济增长模式上进一步改进。IT领域有两大研究的进步使得云计算成为可能，一个是wos网修建的技术的发展，另一个是数据传输技术的发展使得数据传输变的非常经济非常高速，这两个趋势加在一起产生了云计算。使得计算不像过去是一个个项目而变成了基础设施，变成了共享功能。使得IT真正变成了商业发展的动力。大数据的处理对于IT人员并不陌生，但随着数据量的大规模增加，数据从结构化到非结构化带来数据处理和存储的巨大挑战。处理这些数据需要时间和资源。云计算使得数据的处理、存储、数据处理时间的成本大大下降。使得大数据创造的价值远远高于对数据处理的投入，使得对大数据的应用得以实现。云计算是大数据的基础。当今IT面临的挑战到2020年将有一万亿多个应用在超过一千亿个设备上交换5...

2017-08-15

610

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。