首页 文章 精选 留言 我的

经过一顿骚操作，项目编译打包速度提升一倍！

2020-05-21 560

背景

我们的公司的系统中是以微服务方式开发的。每个项目就是一个微服务，有非常多的微服务，比如用户服务、后台管理服务、订单服务、物流服务、商品服务等等。

其中每个项目都使用的 gradle 构建工具打包、发布、部署。

gradle 是一个项目构建工具，与 maven 类似，它提供非常强大的包依赖管理功能。

现象与问题

  1. 有些项目打包编译速度非常慢，有时需要 5 到 10 分钟，而且还经常失败。
  2. 有时候点击三方包的查看源码，通过 IDE 进入类的 class 文件，点击下载源码，控制台显示失败。
  3. 项目发布的 api 包中，除了 rpc 接口必须的 model，还增加了很多无用的包，导致其他项目引入后，jar 过多。

分析

带着这三个问题开始我们的分析。

问题一：项目打包编译速度非常慢，并且经常失败

通过查看打包日志，发现失败的信息是，编译某个模块时时间过长、通过 maven 仓库下载包的时候经常失败、显示超时信息等等，最终输出不能解析 xxx.xxx.xxx 包。

image

然后再次重新打包，又经过一段时间漫长的等待，可能会成功，但是时间很长。

image

在打包时增加 debug 选项查看下打包过程中出现错误的日志信息。

image

image

image

我们发现，项目模块在编译打包的时候，出现访问远程仓库资源 403 的信息。

00:29:59.125 [DEBUG] [org.gradle.api.internal.artifacts.ivyservice.ivyresolve.DynamicVersionResolver] Using com.xgoods:xabtest-proto:v0.3.0 from Maven repository 'nexus'
00:29:59.125 [DEBUG] [org.gradle.api.internal.artifacts.ivyservice.ivyresolve.DynamicVersionResolver] Discarding resolve failure.
org.gradle.internal.resolve.ModuleVersionResolveException: Failed to list versions for com.xgoods:xabtest-proto.
        at org.gradle.api.internal.artifacts.ivyservice.ivyresolve.ErrorHandlingModuleComponentRepository$ErrorHandlingModuleComponentRepositoryAccess.listModuleVersions(ErrorHandlingModuleComponentRepository.java:126)
        ...省略...
        at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: org.gradle.api.resources.ResourceException: Unable to load Maven meta-data from http://repo.spring.io/release/com/xgoods/xabtest-proto/maven-metadata.xml.
        at org.gradle.api.internal.artifacts.repositories.maven.MavenMetadataLoader.load(MavenMetadataLoader.java:55)
        at org.gradle.api.internal.artifacts.repositories.maven.MavenVersionLister.listVersions(MavenVersionLister.java:48)
        at org.gradle.api.internal.artifacts.repositories.metadata.DefaultMavenPomMetadataSource.listModuleVersions(DefaultMavenPomMetadataSource.java:73)
        at org.gradle.api.internal.artifacts.repositories.resolver.ExternalResourceResolver.doListModuleVersions(ExternalResourceResolver.java:210)
        at org.gradle.api.internal.artifacts.repositories.resolver.ExternalResourceResolver.access$200(ExternalResourceResolver.java:90)
        at org.gradle.api.internal.artifacts.repositories.resolver.ExternalResourceResolver$RemoteRepositoryAccess.listModuleVersions(ExternalResourceResolver.java:440)
        at org.gradle.api.internal.artifacts.ivyservice.ivyresolve.CachingModuleComponentRepository$ResolveAndCacheRepositoryAccess.listModuleVersions(CachingModuleComponentRepository.java:360)
        at org.gradle.api.internal.artifacts.ivyservice.ivyresolve.ErrorHandlingModuleComponentRepository$ErrorHandlingModuleComponentRepositoryAccess.listModuleVersions(ErrorHandlingModuleComponentRepository.java:121)
        ... 107 more
Caused by: org.gradle.api.resources.ResourceException: Could not get resource 'http://repo.spring.io/release/com/xgoods/xabtest-proto/maven-metadata.xml'.
        at org.gradle.internal.resource.ResourceExceptions.failure(ResourceExceptions.java:74)
        at org.gradle.internal.resource.ResourceExceptions.getFailed(ResourceExceptions.java:57)
        at org.gradle.internal.resource.transfer.DefaultCacheAwareExternalResourceAccessor.copyToCache(DefaultCacheAwareExternalResourceAccessor.java:201)
        at org.gradle.internal.resource.transfer.DefaultCacheAwareExternalResourceAccessor.access$300(DefaultCacheAwareExternalResourceAccessor.java:54)
        at org.gradle.internal.resource.transfer.DefaultCacheAwareExternalResourceAccessor$1.create(DefaultCacheAwareExternalResourceAccessor.java:89)
        at org.gradle.internal.resource.transfer.DefaultCacheAwareExternalResourceAccessor$1.create(DefaultCacheAwareExternalResourceAccessor.java:81)
        at org.gradle.cache.internal.ProducerGuard$AdaptiveProducerGuard.guardByKey(ProducerGuard.java:97)
        at org.gradle.internal.resource.transfer.DefaultCacheAwareExternalResourceAccessor.getResource(DefaultCacheAwareExternalResourceAccessor.java:81)
        at org.gradle.api.internal.artifacts.repositories.maven.MavenMetadataLoader.parseMavenMetadataInfo(MavenMetadataLoader.java:61)
        at org.gradle.api.internal.artifacts.repositories.maven.MavenMetadataLoader.load(MavenMetadataLoader.java:51)
        ... 114 more
Caused by: org.gradle.internal.resource.transport.http.HttpErrorStatusCodeException: Could not GET 'http://repo.spring.io/release/com/xgoods/xabtest-proto/maven-metadata.xml'. Received status code 403 from server: Forbidden
        at org.gradle.internal.resource.transport.http.HttpClientHelper.processResponse(HttpClientHelper.java:158)
        at org.gradle.internal.resource.transport.http.HttpClientHelper.performGet(HttpClientHelper.java:84)
        at org.gradle.internal.resource.transport.http.HttpResourceAccessor.openResource(HttpResourceAccessor.java:43)
        at org.gradle.internal.resource.transport.http.HttpResourceAccessor.openResource(HttpResourceAccessor.java:29)
        at org.gradle.internal.resource.transfer.DefaultExternalResourceConnector.openResource(DefaultExternalResourceConnector.java:56)
        at org.gradle.internal.resource.transfer.ProgressLoggingExternalResourceAccessor.openResource(ProgressLoggingExternalResourceAccessor.java:37)
        at org.gradle.internal.resource.transfer.AccessorBackedExternalResource.withContentIfPresent(AccessorBackedExternalResource.java:130)
        at org.gradle.internal.resource.BuildOperationFiringExternalResourceDecorator$11.call(BuildOperationFiringExternalResourceDecorator.java:237)

我们发现，项目模块在编译打包的时候，一些 jar 原本是只是会存在我们公司私服上的的，但是却跑到了其他的远程仓库上下载，然后就出现访问远程仓库资源 403 的信息，因为 jar 只有在私服上，所以远程仓库肯定是没有的！

上述情况在打包编译的时候经常发生，原因就是一些 jar 包属于公司私服上的，下载 jar 包时，应该在私服下载，但是却一直在远程仓库下载，导致多次选择不同仓库重试下载，一定时间之后出现了超时、失败信息。

现在来查看项目的 build.gradle 文件结构。

// 公司的公用 gradle 插件
apply from: "http://xxx.xxx.look.gradle"

buildscript {
    apply from: "http://xxx.xxx.look.gradle"
    repositories {
        mavenLocal()
        mavenCentral()
        maven { url "http://repo.spring.io/release" }
        maven { url 'https://repo.spring.io/libs-milestone' }
        maven { url "http://repo.spring.io/milestone" }
        maven { url "http://repo.spring.io/snapshot" }
    }
    // ...一些配置...
}

// project setting
allprojects {
    apply plugin: "idea"
    apply plugin: "io.spring.dependency-management"
    apply plugin: "org.springframework.boot"

    repositories {
        maven {
            name "atlassian-public"
            url "https://m2proxy.atlassian.com/repository/public"
        }
        mavenLocal()
        mavenCentral()
        maven { url "http://repo.spring.io/release" }
        maven { url 'https://repo.spring.io/libs-milestone' }
        maven { url "http://repo.spring.io/milestone" }
        maven { url "http://repo.spring.io/snapshot" }
        maven { url 'http://maven.youzanyun.com/repository/maven-releases/' }
    }

    // 依赖管理器
    dependencyManagement {
        imports {
            mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
        }
    }

    // ...各种配置...

    dependencies {

        compileOnly 'org.projectlombok:lombok:1.18.10'
        annotationProcessor 'org.projectlombok:lombok:1.18.10'

       // ...依赖超级多的 jar 包，包括公司的包和三方包....
       compile "xxx.xxx.xxx"
       ...
    }
}

// 模块一
project(':xeshop-common') {
    dependencies {
        // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块二
project(':xeshop-dao') {
    dependencies {
        // 依赖模块一
        compile project(':xeshop-common')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块三
project(':xeshop-service') {
    dependencies {
        // 依赖模块二
        compile project(':xeshop-dao')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块四
project(':xeshop-thirdbiz') {
    dependencies {
        // 依赖模块三
        compile project(':xeshop-service')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块五
project(':xeshop-rpc') {
    dependencies {
        // 依赖模块三
        compile project(':xeshop-service')
        // 依赖模块四
        compile project(':xeshop-thirdbiz')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块六
project(':xeshop-api') {
    dependencies {
        // 依赖模块三
        compile project(':xeshop-service')
        // 依赖模块四
        compile project(':xeshop-thirdbiz')
        // 依赖模块五
        compile project(':xeshop-rpc')

        // 依赖一些模块 和 一堆 jar 包
        ...
    }
    ...其他配置...
}

...等等模块...

通过查看上面的 build.gradle 配置，会发现一些问题：

  1. allprojects 配置中配置了很多的依赖包，并且采用了 io.spring.dependency-management、org.springframework.boot 这两个插件，来管理依赖，并且设置了依赖管理器 dependencyManagement 配置，这就导致了要管理所有模块的依赖包。

我们去掉 allprojects 中的 io.spring.dependency-management、org.springframework.boot插件，以及 dependencyManagement 配置。修改某些需要被依赖的 jar 包指定固定版本号。

  1. allprojects 配置了仓库地址，但是 buildscript 已经配置了相关的仓库地址；

我们去掉 allprojects 中的 repositories 配置。

问题二：下载三方源码包失败

下载源码的操作如下。

image

异常信息是：

Caused by: org.gradle.internal.resolve.ModuleVersionNotFoundException: Could not find org.springframework.cloud:spring-cloud-dependencies:Greenwich.SR2.
Searched in the following locations:
  - file:/xxx.xxxx/.m2/repository/org/springframework/cloud/spring-cloud-dependencies/Greenwich.SR2/spring-cloud-dependencies-Greenwich.SR2.pom
Required by:
    project :xeshop-common

这个异常信息是说，在 /xxx.xxxx/.m2/repository/org/springframework/cloud/spring-cloud-dependencies/Greenwich.SR2/spring-cloud-dependencies-Greenwich.SR2.pom 这个地址上找不到 org.springframework.cloud:spring-cloud-dependencies:Greenwich.SR2 包，需要 xeshop-common 项目。

我们查看 build.gradle 文件，发现allprojects 配置中，配置依赖管理类，如下配置：

    dependencyManagement {
        imports {
            mavenBom "org.springframework.cloud:spring-cloud-dependencies:Greenwich.SR2"
        }
    }

mavenBom 是为了防止用Maven管理Spring项目时，不同的项目依赖了不同版本的Spring，可以使用Maven BOM来解决者一问题。

但是在 allprojects 配置中配置，会导致所有的项目的源码都要经过它来管理下载。

我们把它注释掉。

问题三、各个模块之间的依赖有些重复

将 allprojects 中，除了一些必须全部模块公用的jar，其他的 jar 全部移除，并且放入 xeshop-common 依赖中。

解决

通过上面的分析，我们修改后的 build.gradle 如下配置：

// 公用 gradle 插件
apply from: "http://xxx.xxx.look.gradle"

buildscript {
    apply from: "http://xxx.xxx.look.gradle"
    repositories {
        mavenLocal()
        mavenCentral()
        maven { url "http://repo.spring.io/release" }
        maven { url 'https://repo.spring.io/libs-milestone' }
        maven { url "http://repo.spring.io/milestone" }
        maven { url "http://repo.spring.io/snapshot" }
    }
    // ...一些配置...
}

// project setting
allprojects {
    apply plugin: "idea"

    // ...各种配置...

    dependencies {
        // 这里只留一些必要的公共包，其他的包全部移动到 xeshop-common 模块中
        ...
    }
}

// 模块一
project(':xeshop-common') {
    dependencies {
        // 添加依赖包
        ...
    }
}

// 模块二
project(':xeshop-dao') {
    dependencies {
        // 依赖模块一
        compile project(':xeshop-common')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块三
project(':xeshop-service') {
    dependencies {
        // 依赖模块二
        compile project(':xeshop-dao')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块四
project(':xeshop-thirdbiz') {
    dependencies {
        // 依赖模块三
        compile project(':xeshop-service')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块五
project(':xeshop-rpc') {
    dependencies {
        // 依赖模块四
        compile project(':xeshop-thirdbiz')
         // 依赖一些模块 和 一堆 jar 包
        ...
    }
}

// 模块六
project(':xeshop-api') {
    dependencies {
        // 依赖模块五
        compile project(':xeshop-rpc')
        // 依赖一些模块 和 一堆 jar 包
        ...
    }
    ...其他配置...
}

...等等模块...

对项目重新进行编译打包，会发现速度非常快，丝滑流畅~

总结

  1. 通过优化上述配置，更加深刻的理解了 gradle 配置，以及它的依赖管理；
  2. 遇到类似的问题，不要慌，在执行 gradle 打包命编译令时增加 debug、stack 参数，可以输出更加多有用的信息，帮助我们排查问题；
  3. 项目中的依赖很多的很复杂的时候，需要花时间梳理配置信息，删繁就简，整理出一个大体框架，更好的帮助我们理解与分析。
上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://my.oschina.net/u/4150612/blog/4286133

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CNCF 官方大使张磊：Kubernetes 是一个“数据库”吗？

作者 |张磊，阿里云高级技术专家、CNCF 官方大使，CNCF 应用交付领域 co-chair，Kubernetes 项目资深维护者 最近，Kubernetes 社区里有一个关于“Kubernetes is the new database”的论述，引起了很多人的关注。当然，这个论述更确切的含义，指的是 Kubernetes 项目本身的工作原理类似于数据库，而不是说你应该把 Kubernetes 当数据库用。 粗看起来，这个 “Kubernetes 是一个数据库” 的论述还是比较匪夷所思的。毕竟我们平常所说的 Kubernetes 的工作原理，比如控制器模式、声明式 API 等等，好像跟“数据库”这个东西并没有什么直接关系。但实际上，这个论述背后却有着其非常本质的含义。这里的缘由，得从 Kubernetes 项目里一个最基础的理论谈起。 Kubernetes 声明式应用管理理论基础 在我们讨论 Kubernetes 的时候，往往会提到这样一个概念，叫做“声明式应用管理”。实际上，这也是 Kubernetes 项目跟其他所有基础设施项目都不一样的一个设计，是 Kubernetes 所独有...
2020-05-21
525
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Jdk25 Kubernetes HarmonyOS6 Nacos3 SpringBoot4 Redis Rocky Service Mesh Gemini3 Docker SpringCloud DeepSeek OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册