我们自研的那些Devops工具

2019-02-13 718

随着云技术以及容器技术的崛起，人肉运维的时代结束了

2018年为了解决日常运维中的痛点以及更高效的推进运维工作，我们自研并完善了几个工具系统，这些系统无一例外的帮我们节约了时间，提高了效率，这篇文章将分享介绍一下这些工具系统

系统介绍

CMDB

CMDB配置管理数据库，主要用来记录我们管理维护的软硬件信息，包含实体的服务器，交换机以及虚拟的项目、服务、环境等所有需要管理维护的信息，通俗一点理解就是之前我们可能一个excel表格记录了我们维护的所有项目，项目所用的服务器资源，服务器的配置等等信息，都可以录入到CMDB系统里统一维护管理

CMDB系统是其他很多系统的基石，要给所有用到基础信息的第三方系统提供API以查询或修改数据，例如提供项目对应的服务器信息给持续部署工具推送代码到项目服务器上，所以CMDB系统的数据准确性非常重要，同时只在一个地方维护基础信息能够让整个运维系统更可控，更高效，减少出错

我们CMDB系统上线时间比较久，之前仅是用来替代Excel表格维护信息用，今年为他增加了API，提供给第三方系统获取基础数据，API认证采用了JWT，关于API认证这篇文章有更多的介绍：Django+JWT实现Token认证

varian

varian是我们内部开发的一个模块化的持续集成工具，主要负责项目从源代码到最终可部署程序的这个过程，现在有大部分项目已经是Docker部署了，那么varian会负责从源代码到最终打包好的项目镜像并上传到镜像仓库这个过程，其中会涉及到编译、合并、压缩等等操作，这篇文章有详细介绍我们varian的工作过程：探秘varian：优雅的发布部署程序

varian的核心逻辑是把持续集成中的每一个小步骤拆分成独立的类或方法，最终根据项目类型的不同组装不同的类或方法，实现不同类型不同技术栈项目能够共用同一套持续集成程序，减少代码冗余，提高可用性

nova

nova持续部署，配合varian做整个上线流程，nova主要负责的是将最终的可部署程序或者Docker镜像推送到线上各个节点更新的过程，因为线上环境比较复杂，有云主机、Docker容器、私有云、公有云k8s等，所以在nova这一层做了兼容

nova只接受三个参数，1.项目名称，2.部署环境，3.部署版本号，根据项目名称和部署环境调用CMDB提供的API确定最终推送项目到哪些节点，根据版本号去拉取代码仓库代码或者镜像仓库镜像

扩容、回滚、重启等操作都可以通过nova系统自动完成，这篇文章介绍了持续部署的更多细节：Docker环境的持续部署优化实践

kerrigan

在整个发布上线的过程中除了代码的变更之外，通常还会涉及到配置文件、数据库的变更，为了解决配置文件自动更新的问题我们开发了kerrigan系统，这篇文章有关于配置中心实现细节的介绍：中小团队落地配置中心详解

kerrigan底层基于etcd+confd实现，主要实现在web端修改，服务器上自动更新生效的功能，kerrigan还能够管理多环境不同类型的配置，尤其擅长文件型的配置（区别于通常看到的基于KV的配置中心，对运维更友好），例如管理nginx，tomcat等配置，同时能够记录配置文件的修改历史，快速回滚配置，还支持配置文件对比，只修改保存延后发布等功能

因为我们项目比较多，每个项目的nginx里边有一堆的规则，基于Docker的话每个rewrite的更新都需要重新打包发布比较繁琐，使用kerrigan之后有效解决了这个问题

overmind

数据库运维系统overmind，除了能够解决发布上线过程中的最后一环数据库变更外，我们还集成了其他一些实用的功能，例如SQL审核、SQL查询、自动导数据的工单系统，密码表等

overmind的第一个版本主要是集成了inception做SQL的审核和执行，帮助我们自动化的处理线上数据库的变更，这篇文章有介绍：中小团队快速构建SQL自动审核系统

完成第一个版本之后内部推动开发测试使用，收集到反馈，在第一个版本的基础上添加了SQL查询、Explain执行计划展示等功能，后续发现DBA经常接到各个不通环境之间导数据的需求，又开发了工单功能来实现数据自动迁移，这篇文章有介绍迁移：运维效率之数据迁移自动化

后边抛弃了Excel维护密码的方式，开发了密码表功能，见这篇文章介绍：Django开发密码管理表实例【附源码】

overmind在慢慢完善，后续还会基于需求和实用性添加更多的功能来提高效率

proxy

proxy是一个代理系统，类似于阿里云的SLB，kubernetes的ingress，主要给开发测试环境使用

我们维护项目较多，每个项目有多套不同的环境，每个环境都有不同的域名，对应不同的后端服务，为了模拟真实请求过SLB代理的环境以及集中的管理这些项目入口，之前的做法是把所有的域名都指向到一个nginx服务器，nginx服务器通过基于域名的vhost代理到后端服务，每次添加或修改都通过手动变更nginx配置文件来完成，现在开发了proxy系统，可以通过页面来快速方便的完成

wiki

wiki系统在18年之前已上线，当年提出来规范化、文档化、自动化、智能化的运维目标，文档是整个运维过程中非常重要的一环，其好处不用多说，持续推进文档的输出也是我们非常重要的一环

当然除了以上这些系统外还开发了一些小工具来规范管理，提高效率，这里不多介绍。另外我们还用到了大量的开源软件系统，例如Jenkins、ELK套件、Kubernetes等

2019年计划

我们知道devops是从研发到上线整个过程自动化的一种思想，并不是某个工具或者某几个工具的集合，我一直在想如何才能将devops落到实处，18年基于当前的环境我们开发了以上的各种工具来帮助我们高效的工作，但这些工具系统相对分散，不能形成体系流程，19年会实践一些方式方法将这些工具系统串联，实现更高程度的自动化，同时也会持续推进Kubernetes更大范围的落地，为真正的实现Devops思想，从开发到上线的全流程自动化打基础

如果你觉得文章不错，请点右下角【好看】。如果你觉得读的不尽兴，推荐阅读以下文章：

微信关注我们

原文链接：https://my.oschina.net/37Y37/blog/3009455

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

css加载会造成阻塞吗

本文由云+社区发表作者：嘿嘿嘿可能大家都知道，js执行会阻塞DOM树的解析和渲染，那么css加载会阻塞DOM树的解析和渲染吗？接下来，我就来对css加载对DOM树的解析和渲染的影响做一个测试。为了完成本次测试，先来科普一下，如何利用chrome来设置下载速度 \1. 打开chrome控制台(按下F12),可以看到下图，重点在我画红圈的地方点击我画红圈的地方(No throttling),会看到下图,我们选择GPRS这个选项 \2. 点击我画红圈的地方(No throttling),会看到下图,我们选择GPRS这个选项这样，我们对资源的下载速度上限就会被限制成20kb/s，好，那接下来就进入我们的正题 \3. 这样，我们对资源的下载速度上限就会被限制成20kb/s，好，那接下来就进入我们的正题 css加载会阻塞DOM树的解析渲染吗？用代码说话： <!DOCTYPE html> <html lang="en"> <head> <title>css阻塞</title> <meta charset="UTF-8"&g...

2019-02-12

679

学习 Netty 也有一段时间了，为了更好的掌握 Netty，我手动造了个轮子，一个基于 Netty 的 web 框架：redant，中文叫红火蚁。创建这个项目的目的主要是学习使用 Netty，俗话说不要轻易的造轮子，但是通过造轮子我们可以学到很多优秀开源框架的设计思路，编写优美的代码，更好的提升自己。 PS：项目地址：https://github.com/all4you/redant 快速启动 Redant 是一个基于 Netty 的 Web 容器，类似 Tomcat 和 WebLogic 等容器只需要启动一个 Server，默认的实现类是 NettyHttpServer 就能快速启动一个 web 容器了，如下所示： public final class ServerBootstrap { public static void main(String[] args) { Server nettyServer = new NettyHttpServer(); // 各种初始化工作 nettyServer.preStart(); // 启动服务器 nettyServer.start()...

2019-02-13

642

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。