2个动作，让研发效率提升120%，代码减少50%

2022-03-08 558

云智慧 AIOps 社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播 AIOps 技术，旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题，推动 AIOps 技术在企业中落地，建设健康共赢的AIOps 开发者生态。

简介

本文以云智慧数字化运维数据平台DODB产品为例，由云智慧研发团队通过分析对比产品历史版本与新版本中的Java代码行数、Java文件个数、代码注释占比、发布包大小、组件依赖等关键数据，找寻出历史版本开发过程中存在的代码、项目管理及开发人员等方面问题，最终梳理总结出改造代码、制定规范等可提升研发效能的有效方法。

一、数据对比

通过下方图表数据可以看出，在新版本中，代码注释占比降低了近150%，项目分支数减少了近100%，其他各项数据也均有了明显的变化。

代码行数统计

过去

现在

代码注释比例

过去

现在

sonar扫描

过去

现在

数据汇总对比

指标	过去	现在	对比结果
项目module数量	12	8	减少33%
代码总行数	174252	136484	减少22%
Java代码行数	90310	50719	减少44%
Java文件个数	982	583	减少41%
代码注释占比	3%	7%	提升133%
sonar-bugs数量	92	0	减少100%
对外http接口数量	160	100	减少37.5%
对外dubbo接口数量	100	25	减少75%
发布包大小	226M	170M	减少25%
项目分支数	300(参考)	20	减少93%
写入性能(单条10K)	88W/min	187W/min	提升113%
组件依赖	ignite、vertx	删除ignite、vertx	5.3.1以redis替换ignite，彻底删除vertx
微服务	1	3	5.3.1支持服务以存储模块或者非存储模块独立运行

二、历史问题回顾

通过上述各项数据的对比分析，本章节对历史版本开发中存在的代码、项目管理、开发人员等各方面问题进行了回顾分析，详细可查看下文：

代码侧问题

项目module数量多，部分不再使用的模块仍存在；
各module模块没有统一的包名区分，导致大量全限定名一致的类存在，加载顺序不一致引发各种问题；
项目中存在大量不再使用的代码块，增加了新人的学习成本及排查问题难度；例如dubbo接口，外部仅使用25个，对外提供了100个；
项目中重复代码较多，相似业务复制粘贴现象较严重，维护成本较高；
重复造轮子较多，如HttpclientUtil等；
注释率不够，大量代码无注释，无测试用例；
Vertx框架改造为SpringBoot容器不彻底，仍有众多Vertx逻辑和Springboot共存；
增加新模块需要写很多sql，需要手动编写Controller、Service、Dao层的“基础”代码；
项目依赖ignite组集群，导致服务是有状态的，大多人员对ignite不熟悉，导致解决问题较困难；

项目管理侧问题

没有强有力的规范无法支撑更多的成员高效的协同开发；
分支管理无规范，导致分支数过多，活跃分支数量少，几百个分支维护困难；
以分支形式交付，交付后分支仍有提交，导致追踪发版版本困难；
无代码管理规范，多次出现功能遗漏、多功能等导致分支回退；
没有代码review制度，无法保障代码质量，冲突强行解决的问题时有发生；

开发人员侧问题

大多成员对代码不够熟悉，或仅熟悉部分代码；
很多成员不敢修改代码，更不敢删除代码；打着不影响其它功能的旗号，复制粘贴大量的重复代码和逻辑，导致维护困难；
早期代码设计较为合理，随着人员不断增加，很多代码重copy轻设计，只求完成功能，不考虑维护性拓展性，毫无设计可言；
部分人员git不熟练，导致强行覆盖远程分支的情况时有发生，无权限管控；

部分问题示例

全限定名完全一致的类

重复造轮子

三、解决问题方案

为解决产品历史版本开发过程中存在的代码、项目管理等各方面问题，云智慧研发团队制定了开发、接口等相关规范；同时，通过限制代码仓库权限等其他操作也保证了规范的严格执行。

制定相关规范

无规矩不成方圆，切实可行的规范是保障团队战斗力的前提。规范制定应本着提高团队水平，又不限制成员积极性为目标。

开发规范
DODB接口规范
开发规范实行计划
DODB版本tag命名规范
开发设计模板
提测模板
会议规范

保障规范严格执行

工欲善其事必先利其器，规范里提供了相应的工具，用好可达到事半功倍的目的；同时有相关提交流程保障规范落地，不能让规范流于形式。

设置gitlab权限，保障强制代码review

禁止任何人向保护分支提交代码，必须走merge流程

merge列表界面

merge详情界面

完成后远程分支强制删除

以tag追踪生产交付，要求测试交付时一定要有tag

禁止删除tag

标签tag列表

标签tag详情

四、如何对现有代码进行改造

改造原则

不影响现有开发和交付进度，必须互不影响，类似于空中加油机，既要加油，飞机也不能停；
保证兼容性升级，改造后原有数据和业务不受影响；
对外接口(如dubbo)原则上不能修改，保证调用方功能正常，特殊情况可沟通配合（如dubbo方法重载必须修改）；
不需要的代码一律删除，以后需要从历史版本找回，禁止批量注释掉代码；
代码设计要遵循 高内聚低耦合 的原则，保证可重用性、移植性；
目标一致，改造循序渐进，保证充分测试。

部分改造逻辑

对不再使用的代码直接删除，历史可在gitlog中查看，例如bdp-plugin-sdk、bdp-plugin-zabbix等模块直接删除；
集中解决重复造轮子的问题，对部分通用逻辑，如HttpClientUtils、db操作等使用已有工具类替换；
书写数据库代码繁琐，引入mybatis-plus操作mysql

<!-- mybatis-plus操作数据库 -->

<dependency>

  <groupId>com.baomidou</groupId>

  <artifactId>mybatis-plus</artifactId>

  <version>${mybatis-plus.version}</version>

</dependency>

对外dubbo接口bdp-rpc和bdp-rpc-model合并为bdp-rpc-core对外提供，通过编译各调用方项目，删除未使用的接口
彻底删除vertx和ignite依赖

对各module的功能和命名做了统一规范，对原有代码做统一修改调整

模块名称	功能	包名前缀
bdp-api	Restful API和业务逻辑实现、只能被bdp-standalone依赖	com.cloudwise.bdp.api
bdp-base	业务对象和接口定义	com.cloudwise.bdp.base
bdp-commons	通用工具common util	com.cloudwise.bdp.commons
bdp-pipeline	pipeline数据处理实现	com.cloudwise.bdp.pipeline
bdp-rpc-core	rpc接口声明及rpc实体类定义，不能依赖其它模块，对外rpc接口请慎重修改	com.cloudwise.bdp
bdp-standalone	主项目，DODB主入口类为DodbServiceApplication	com.cloudwise.bdp.standalone
bdp-store-ck	ClickHouse存取实现	com.cloudwise.bdp.store.ck
bdp-store-common	数据层存储接口声明	com.cloudwise.bdp.store.common

调用gitlab-api对长期不活跃分支集中清理备份

 /**

 * github-api

 * https://github.com/help/api/api_resources.md

 */

private static final String GITLAB_URL = "https://github.com/api/v4/projects/2393/repository";

private static final String PRIVATE_PARAM = "*****************";



 /**

 * 清理分支，已合并分支直接删除，其余删除前以tag形式备份

 */

@Test

public void cleanBranches() {

    Map<String, Object> paramMap = Maps.newHashMap();

    paramMap.put("private_token", PRIVATE_PARAM);

    paramMap.put("per_page", 10086);



    String body = HttpUtil.get(GITLAB_URL + "/branches", paramMap);

    List<Branche> branches = JSON.parseArray(body, Branche.class);

    // 按最后一次提交时间由小到大排列

    branches.sort(Comparator.comparingLong(o -> o.getCommit().getCommitted_date().getTime()));

    log.error("分支数量:{}", branches.size());

    branches.forEach(item -> log.info("{}", item));

    // 清理长期不活跃分支

    .....

}

发布包进行瘦身

首先了解发布包是如何构建的，参看assembly.xml配置

发布包里有什么

不要把配置文件重复打入jar包中

<plugin>

   <groupId>org.apache.maven.plugins</groupId>

   <artifactId>maven-jar-plugin</artifactId>

   <configuration>

      <includes>

         <include>com/cloudwise/bdp/**</include>

      </includes>

      <archive>

         <manifest>

            <addClasspath>true</addClasspath>

            <mainClass>${start-class}</mainClass>

            <classpathPrefix>../lib/</classpathPrefix>

         </manifest>

      </archive>

   </configuration>

</plugin>

重点关注lib包，可从以下几个方面排查

重点关注过大的包是否是项目必须的

是否有重复依赖问题

*例如netty-all是众多netty-的合集，不要去重复依赖，如果版本不一致还会引发问题；

batik-all是batik-*的合集，排除各个子包

排查后通过相关插件追查依赖源，精确排除

<plugin>

   <groupId>org.apache.maven.plugins</groupId>

   <artifactId>maven-dependency-plugin</artifactId>

   <version>${maven.dependency.version}</version>

</plugin>

1、开发人员应清楚依赖包是做什么的，不要不管三七二十一依赖一堆没用的包，无谓增加发布包大小，还会带来隐患；

2、代码审核时，依赖文件(maven工程的pom.xml文件)的修改需要重点关注，禁止随意引入和修改依赖；

3、各产品线可在统一各依赖版本的基础上，调整构建方式，大幅减小集成包的大小。

改造总结

优化不求一步到位，可逐步进行，目标明确即可；
复杂是一切问题的根源，能用一行代码解决的问题，就不用两行；
一切功能都是靠代码实现的，写好代码很重要，不能把写好代码当成一件小事，只是为了完成所需功能而堆砌代码很简单，但编写清晰易懂且能完成所需功能的代码并不简单；
你永远无法编写出“完美”的代码，要用工具和流程规范来保证这一切，要充分测试；

五、福利放送

云智慧以开源集轻量级、聚合型、智能运维为一体的综合运维管理平台 OMP（Operation Management Platform），具备纳管、部署、监控、巡检、自愈、备份、恢复等功能，可为用户提供便捷的运维能力和业务管理，在提高运维人员工作效率的同时，进而提升业务的连续性和安全性。

点击下方地址链接，欢迎大家给 OMP 点赞送 Star，了解更多相关内容～

GitHub 地址：https://github.com/CloudWise-OpenSource/OMP

Gitee 地址：https://gitee.com/CloudWise/OMP

微信扫描识别下方二维码，备注【OMP】加入AIOps社区运维管理平台 OMP 开发者交流群，与 OMP 项目 PMC 面对面交流～

微信关注我们

原文链接：https://my.oschina.net/yunzhihui/blog/5477956

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微服务工程中，基础组件应用

一、网关服务 1、网关模式网关作为架构的最外层服务，用来统一拦截各个端口的请求，识别请求合法性，拦截异常动作，并提供路由和负载能力，保护业务服务；这种策略与外观模式异曲同工。网关服务和门面类服务有部分的逻辑相似，网关服务的拦截侧重处理通用的策略和路由负载，而不同的门面聚合服务侧重场景分类，例如常见的几种门面服务： Facade：服务产品开放的端口请求，例如Web，App，小程序等； Admin：通常服务于内部的管理系统，例如Crm，BI报表，控制台等； Third：聚合第三方的对接服务，例如短信，风控，动作埋点等；不同的门面服务中，也会存在特定的拦截策略，如果把Facade、Admin、Third等校验都集成在网关中，很显然会加重网关服务的负担，不利于架构的稳定。 2、Gateway组件如果微服务架构接触较早的话，初期网关中常采用的是Zuul组件，后来SpringCloud才发布Gateway组件，是当前常用选型。请求拦截：网关作为API请求的开放入口，完成请求的拦截、识别校验等是基础能力；定制策略：除常规身份识别，根据服务场景设计相应的拦截逻辑，尽量拦截异常请求；服务路...

2022-03-08

695

导读：GDP （Go Develop Platform）是百度内使用的 RPC 框架，具备完善的 RPC Client 和 RPC Server 能力，可以用来开发 API、Web 及后端服务等各种应用。GDP Streaming RPC 是基于 GDP RPC 能力开发的流式 RPC 框架，在实现功能基础上设计的一套面向流传输场景的传输框架，提供了流式传输应用场景的方案。百度内使用流式 RPC 方案首选为 baidu-rpc （开源项目为 brpc）streaming，GDP streaming 是 brpc streaming 的 Go 版本，为 Go 的开发者提供的流接口方案。全文4700字，预计阅读时间12分钟一、streaming 介绍 1.1 解决的问题在一些数据传输场景中， client / server 需要向对方发送&接收大量有序数据，这些数据非常大或者持续地在产生以至于无法放在一个 RPC 的消息体中。比如：分布式系统不同节点间传递的副本(replica) 或者语音数据。一个订单导出接口有 10 万条记录，如果使用传统 rpc，那么需要一次性接收到10...

2022-03-08

430

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。