首页 文章 精选 留言 我的

精选列表

搜索[k],共10000篇文章
优秀的个人博客,低调大师

Java面试突击版笔记,GitHub标星已75k+,分享PDF离线版

2 --> 前言 不论是校招还是社招都避免不了各种面试。笔试,如何去准备这些东西就显得格外重要。不论是笔试还是面试都是有章可循的,我这个有章可循‘说的意思只是说应对技术面试是可以提前准备。 运筹帷幄之后,决胜千里之外!不打毫无准备的仗,我觉得大家可以先从下面几个方面来准备面试: 1.自我介绍。(你可千万这样介绍: “我叫某某,性别,来自哪里,学校是哪个,自己爱干什么”,记住:多说点简历_上没有的,多说点自己哪里比别人强! ) 2.自己面试中可能涉及哪些知识点、哪些知识点是重点。 3.面试中哪些问题会被经常问到、面试中自己该如何回答。(强烈不推荐背题,第一:通过背这种方式你能记住多少?能记住多久?第二:背题的方式的学习很难坚持下去! ) 4.自己的简历该如何写。 "80%的offer掌握在20%的人手中"这句话也不是不无道理的。决定你面试能否成功的因素中实力固然占有很大一部分比例,但是如果你的心态或者说运气不好的话,依然无法拿到满意的offer。运气暂且不谈,就拿心态来说,千万不要因为面试失败而气馁或者说怀疑自己的能力,面试失败之后多总结一下失败的原因,后面你就会发现自己会越来越强大。 另外,大家要明确的很重要的几点是: 1.写在简历上的东西一定要慎重,这可能是面试官大量提问的地方; 2.大部分应届生找工作的硬伤是没有工作经验或实习经历; 3.将自己的项目经历完美的展示出来非常重要。 内容简介 一、面试前的准备 1.1 如何准备一场面试 1.2 简历该如何写 1.3 如果面试官问你 “你有什么问题问我吗?”时,你该如何回答 1.4 面试官问你的优点是什么,应该如何回答? 1.5 面试官问你的缺点是什么,应该如何回答? 1.6 七个大部分程序员在面试前很关心的问题 二、Java 2.1 Java基础知识 2.2 Java集合框架 2.3 Jave多线程 2.4 Java虚拟机 2.5 设计模式 三、计算机网络常见面试点总结 3.1 TCP、UDP协议的区别 3.2 在浏览器中输入ur1地址->>显示主页的过程 3.3 各种协议与HTTP协议之间的关系 3.4 HTTP长连接、短连接 3.5 TCP三次握手和四次挥手面试常客) 四、Linux 4.1 简单介绍一下Linux文件系统? 4.2 一些常见的Linw命令了解吗? 五、MySQL 5.1 说说自己对于MySQL常见的两种存储引擎: MyISAM与InoDB的理解 5.2 数据库索引了解吗? 5.3 当MySQL单表记录数过大时,数据库的CRUD性能会明显下降,一些常见的优化措施如下: 5.4 事务隔离级别(图文详解) 六、Redis 6.1 redis简介 6.2 为什么要用redis /为什么要用缓存 6.3 为什么要用redis 而不用map/ guava做缓存? 6.4 redis和memcached的区别 6.5 redis常见数据结构以及使用场景分析 6.6 redis设置过期时间 6.7 redis内存淘汰机制( MySQL里有200w数据,Redi s中只存20w的数据,如何保证Redis中的数据都是热点数据? ) 6.8 redis持久化机制(怎么保证redis挂掉之后再重启数据可以进行恢复) 6.9 redis 事务 6.10 缓存雪崩和缓存穿透问题解决方案 6.11 如何解决Redis的并发竞争Key问题 6. 12 如何保证缓存与数据库双写时的数据一致性? 七、Spring 7.1 Spring Bean的作用域 7.2 Spring事务中的隔离级别 7.3 Spring事务中的事务传播行为 7.4 AOP 7.5 IOC 八、消息队列 8.1 什么是消息队列 8.2 为什么要用消息队列 8.3 使用消息队列带来的一些问题 8.4 JMS YS AMQP 8.5 常见的消息队列对比 九、Dubbo 9.1 重要的概念 9.2 Dubbo的架构 9.3 Dubbo的负载均衡策略 9.4 zookeeper宕机与dubbo直连的情况 十、数据结构 10.1 Queue 10.2 Set 10.3 List 10.4 Msp 10.5 树 10.6 图 10.7 BFS及DFS 十一、 算法 十二 、实际场景题 十三、 BATJ真实面试题 写在最后 1. 一定要谨慎对待写在简历上的东西,一定要对简历上的东西非常熟悉。因为一般情况下,面试官都是会根据你的简历来问的; 2. 能有一个上得了台面的项目也非常重要,这很可能是面试官会大量发问的地方,所以在面试之前好好回顾一下自己所做的项目; 2.和面试官聊基础知识比如设计模式的使用、多线程的使用等等,可以结合具体的项目场景或者是自己在平时是如何使用的; 3.注意自己开源的Github项目,面试官可能会挖你的Github项目提问; 4.建议提前了解一下自己想要面试的公司的价值观,判断- -下自己究竟是否适合这个公司。 另外,我个人觉得面试也像是一场全新的征程, 失败和胜利都是平常之事。所以,劝各位不要因为面试失败而灰心、丧失斗志。也不要因为面试通过而沾沾自喜,等待你的将是更美好的未来,继续加油!

优秀的个人博客,低调大师

Docker与k8s的恩怨情仇(一)—成为PaaS前浪的Cloud Foundry

> 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 大家在工作中或许或多或少都接触过Docker,那你知道Docker以及容器化背后的原理到底是什么吗? 容器化技术满天下,那为什么只有Docker被大家所熟知呢? 后Docker时代,到底谁才是云原生时代的王者? 我们相信本系列文章能帮您解答这些疑惑。 被“嫌弃”的物理服务器 在云时代以前,开发者如需构建一个线上的站点,必须自己维护物理服务器。但是随着业务发展,大体量服务器逐渐增多,随之而来的是硬件、场地和维护成本的不断提高。对于面向C端的站点来说,网络热点事件具有随机性,流量的变化并不可控,难免会遭遇站内流量暴涨的情况。此时如果没有备用服务器,突发的大流量很可能会冲垮整个站点。但在没有突发事件的时候,备用服务器的采购和维护成本又让人不可忽略。 (运维的传统艺能:上线拜祖,图片来自网络) 哪里有问题,哪里就有商机。有人想到,如果买一批服务器放在外网,安排专人管理,然后按照用户的需要租赁出去,不正好解决了这个问题吗? 于是,一场云计算的好戏,正式上演。 虚拟机还是“超重”了 云计算时代的大幕拉开,大厂先后登台,让我们先简单做一下回顾。 2006年,亚马逊成立aws,从云端存储业务开始。 2008年,云计算初创。 2009年,阿里云成立。目前最新的数据表明,2020年度IaaS市场份额调查,阿里云位居全球第三,亚太第一;前两名分别是亚马逊和微软,市场份额达9.5%,超过谷歌的6.1%,亚马逊40.8%,微软17%。国内市场份额40% ,第二是华为云,占18%。 2010年,OpenStack由NASA发布。OpenStack是一个IaaS架构,可以用其架构来搭建自己的私有云,让任何人都可以自行创建和提供云计算服务。对比而言,AWS和aliyun都是自研架构,OpenStack是开源的。所以公司如果需要,完全可以接入OpenStack搭建自己的私有云。(当然前提需要有OpenStack核心开发能力)。 2010-2013年之间,云计算的全球份额被aws和OpenStack瓜分。 这时的云计算技术,本质都是虚拟化技术,将硬件资源作为基础设施提供给用户,简称IaaS。简单理解,IaaS就是将一个很大的服务器,通过虚拟化技术拆分成多个小的虚拟服务器,提供服务,类似于在本机装了虚拟机。 (云计算主力玩家的进场时间,图片来自网络) 但是,IaaS时代的虚拟机还是太过于笨重了。每一台虚拟机都需要消耗CPU、内存等计算资源才能支撑应用的运行。即便应用再小,系统的开销都是固定的成本。如何为IaaS减肥,让虚拟机系统的开销降到最低? 2013年开始,云计算正式进入了PaaS时代。PaaS时代,云计算所销售的单元,从虚拟机变成了应用运行平台。于是,云厂商提供的服务更多,资源利用率也更高了。 什么是PaaS?我们用一个通俗的例子来解释。如果我们现在是一个烧饼店老板,采用IaaS模式意味着我们需要用别人厨房、锅炉、煤气,自己和面做馅料,做烧饼。如果是PaaS,我们烧饼的面粉、馅料和调料都是别人提供好了,我们只需要把饼烤熟。 云厂商该如何构建一套好用的PaaS服务呢?借力开源项目,成为各厂商的共识。 Cloud Foundry开启PaaS开源时代 PaaS的核心是平台。最早出现在开发者视野中的PaaS开源项目中,vmware创立的Cloud Foundry是知名度最高的。与IaaS提供云上虚拟机的服务方式不同,基于Cloud Foundry的云计算能够提供应用托管的功能。开发者只需要通过一条简单的命令比如:cf push "我的应用",就可以将项目打成一个压缩包,上传到Cloud Foundry服务器。而Cloud foundry会开启自己的调度器,在一群云主机中找到满足用户需求的主机(系统版本、性能、个数),然后通过容器化技术,在主机上创建一个容器,在容器中下载压缩包,解压并运行,最终成为一个对外提供服务的应用。 此外,Cloud Foundry平台对这些应用项目提供分发,灾备,监控,重启等等服务(这也是我们提供给用户的核心服务)。这种托管服务解放了开发者的生产力,让他们不用再关心应用的运维状况,而是专心开发自己的应用。而这就是PaaS的“初心”,平台即服务。 (Cloud Foundry提供的服务) 这里就会有同学问了,容器是什么?容器是用来解决多个应用资源冲突与隔离性问题的技术。Linux上的namespace机制和cgroups命令都能用做资源隔离和限制,这些都是容器技术。 容器技术并不是Docker创建的,在Docker兴起之前,就已经被其他公司商用了,但是为什么现在一谈起容器,所有人第一时间想到的就是Docker呢?这就要提到Cloud Foundry的死亡。 从Cloud Foundry到Docker Cloud Foundry似乎已经和我们现在使用的云功能区别不大,但2021年的现实情况却是Cloud Foundry已经死了。 我们看过互联网上很多文章,再结合我们活字格公有云开发的经验,我们认为这个项目的致命缺陷集中它的打包机制上。 Cloud Foundry最核心的组件就是应用的打包和分发机制,也是开发者打交道最多的功能。Cloud Foundry为每一种主流的语言都定义了一套打包的方式,这些方式之间毫无章法。但就是这个打包功能,成了Cloud Foundry的软肋,一直为用户所诟病。开发者不得不为每一种语言,每一种框架,甚至是每个版本应用维护一个打好的包,还有可能出现本机运行成功,打了个包上传上去之后就无法运行的情况。情况最严重的时候,开发者在调试云平台系统上花的时间都已经比开发一个新软件的时间要长了。 本来是为赋能开发者的而生的技术,Cloud Foundry却对开发者如此不友好。当开发者的抱怨积累到一定程度,想要在PaaS浪潮中央站稳脚跟的Cloud Foundry被后起之秀Docker“红牌罚出局”也就顺理成章了。 最初,Docker是一个当时还叫dotCloud的公司(2010年由所罗门海克斯创建,Y Combinator孵化)开发的容器项目。在Cloud Foundry困于打包问题时,Docker正在悄悄积蓄力量,在开源后的短短几个月内就迅速崛起,成为一个不容忽视的PaaS技术方案,吸引了云服务开发者的眼球。 滑稽的是,在Docker刚开源的时候,Cloud Foundry的首席产品经理 James Bayer就在社区做了一次详细的对比,告诉用户Docker和Cloud Foundry一样,都是使用了Namespace和Cgroups技术的沙箱而已,没什么值得关注的。 事实上,Docker也确实就和他所说的一样,采用了这个“传统”的技术方案,但是Docker与Cloud Foundry相比,做了一点小小的创新,体现了所罗门海克斯的远见。从2010他就开始考虑应用打包的一致性与复用性问题,并提出了创新的解决方案,最终对Cloud Foundry造成了毁灭性的打击。这个解决方案就是Docker镜像。 (Docker,图片来自官网) 刚开源的Docker迅速爆火,憨态可掬的小鲸鱼,对用户友好的文档,三分钟部署一个Nginx集群的宣传语,以及Docker Image这个 “微不足道的创新”,让Docker席卷整个PaaS领域。 Docker的制胜法宝:镜像 Docker成功的关键,在于Docker镜像几乎完美地解决了Cloud Foundry在打包方面的软肋。 所谓的镜像,其实也是一个压缩包,但是比起Cloud Foundry那种执行文件+启动脚本的打包结果,镜像提供给用户的是一套完整的运行环境,每一个镜像都可以指定操作系统版本,内部可以构建程序执行的文件结构,并且一份镜像可以完全共享在多处使用。 此外,Docker还给开发者提供了一套完善的镜像制作流程,这套流程与编程语言和框架无关。开发者只需要按照该流程,定制对应程序所需要的运行的操作系统环境即可。 总之,Docker 镜像完美解决了两个问题: 1.本地环境和服务器环境的差异 2.同一份镜像可以让所有的机器进行复用 从这一刻开始,PaaS的市场已经完全是Docker的天下。 小结 本文是系列文章的第一期,我们一起回顾了IaaS取代物理服务器,基于IaaS构建PaaS的发展路线。在构建PaaS时,我们经历了Cloud Foundry的衰败,见证了Docker的成功。 但是,只依靠Docker就能构建起完整的PaaS服务吗?我们的活字格公有云版最终选择了哪个技术方案?云计算的故事还没有讲完,敬请期待下期精彩内容。

优秀的个人博客,低调大师

我是如何一步一步爬上 「64K限制」 的坑

分享初衷 分享这个填坑的记录,主要是身边很多 Androider 都会遇到难以解决的难题并重复走旧路。 大部分人都会按照这样的步骤处理: 遇到一个 BUG ,优先按照自己经验修复; 修复不了,开始 Google(不要百度,再三强调),寻找一切和我们 BUG 相似的问题,然后看看有没有解决方案; 尝试了很多解决方案,a 方案不行换 b 方案,b 方案不行换 c 方案,直到没有方案可以尝试了,开始怀疑人生; 如果影响不大,那就丢在项目里(估计也没人发现),如果影响很大,那只能寻找别人帮助,如果别人也给不了建议,那就原地爆炸了。 无论 BUG 影响多大,丢在项目里总不太好。 当别人帮助不了的时候,真的只有代码能帮你。尝试过很多方案不可行,很多时候是因为每个方案的背景不一样,包括开发环境背景如 Gradle 版本,编译版本 ,API 版本场景差异化。我遇到的这个问题也是如此。 希望通过以下的记录能帮助你在面对无能为力的 BUG 时更坚定地寻找解决方案。 问题背景 在我们项目最近的一个版本中,QA 测试 Feature 功能时反馈 4.4 设备上 APP 全 Crash! 由于反馈该问题时已经快周末了,按 PM 的流程我们需在下周一封包给兼容测试部门做质量测试,这个问题就必须在周一前解决。 第一反应GG,感觉是个大坑。立刻借了两台 4.4 的机型对发生 Crash 场景进行调试,发现都是 java.lang.NoClassDefFoundError。 这个crash表明找不到引用的类,这类原本该在 主 Dex 文件中,但是主 Dex 文件中却没有提供这个类。 第一反应就是 “难道我们没有 keep 住这个类吗?” 经过排查确定是构建工具已经把执行了打包该类的逻辑,却因为某些原因没有被打进去。我尝试使用 mutilDexKeepProguard keep 住这个类,然后编译直接不通过了。收到的异常为: D8: Cannot fit requested classes in the main-dex file (# methods: 87855 > 65536 ; # fields: 74641 > 65536) 当然有了 LOG 信息就有了解决问题的希望了。 定位问题 Dex 文件规范明确指出:单个 dex 文件内引用的方法总数只能为 65536。而这个限制来源于是 davilk 指令中调用方法的引用索引数值,该数值采用 16 位 二进制记录,也就是 2^16 = 65536,方法数包括了 Android Framework 层方法,第三方库方法及应用代码方法。 所谓 主dex,其实就是 classes.dex。还可能存在 classes1.dex,classes2.dex...classesN.dex。因为完整项目可能包含超过 65536 个方法,所以需要对项目的 class 进行分 dex 打包。主dex 会被最先加载,必须包含启动引用所需要的类及“依赖类”(后面会有详细介绍)。而我所遇到的问题就是 “包含启动引用所需要的类及“依赖类包含的方法数” 超过 65536 个,构建系统就 “罢工” 不干了。 事实上,在 minsdkVersion >= 21 的应用环境下是不会出现这种异常的。因为构建apk时方法数虽超过 65536 必须分包处理,但由于使用 ART 运行的设备在加载 APK 时会加载多个 dex 文件。其在安装时执行预编译,扫描 classesN.dex 文件,并把他们编译成单个.oat 文件。所以 “包含启动引用所需要的类及“依赖类” 可以散落在不同的 dex 文件上。 但是 minsdkVersion < 21 就不一样了,5.0 以下的机型用的是 Dalvik 虚拟机,在安装时仅仅会对 主dex 做编译优化,启动时直接加载 主dex。如果必要的类被散落到其他未加载的dex中,则会出现crash。也就是开头所说的 java.lang.NoClassDefFoundError。 关于这个 exception 和 java.lang.ClassNoFoundError 很像,但是有比较大的区别,后者在 Android中常见于混淆引起类无法找到所致。 寻找解决方案 明白了上述背景之后,就要想办法减少 主dex 里的类且确保应用能够正常启动。 但是官方只告诉我们 “如何 Keep 类来新增主 dex 里面的类”,但是没有告诉我们怎么减少啊 !卧槽了... 于是开始 Google + 各种 github/issue 查看关于如何避免 主dex 方法爆炸的方案,全都是几年前的文章,这些文章出奇一致地告诉你。 “尽量避免在application中引用太多第三方开源库或者避免为了一些简单的功能而引入一个较大的库” “四大组件会被打包进 classes.dex” 首先我觉得很无奈,无法知道构建系统是如何将四大组件打包进 classes.dex,项目内的代码无从考证。其次在版本 feature 已经验收完毕之下我无法直接对启动的依赖树进行调整,且业务迭代很久的前提下删除或者移动一个启动依赖是风险很大的改动。 我非常努力且小心翼翼地优化,再跑一下。 D8: Cannot fit requested classes in the main-dex file (# methods:87463 > 65536 ; # fields: 74531 > 65536) 此时的我非常绝望,按照这样优化不可能降低到 65536 以下。 在这里,我花费了很多时间在尝试网上所说的各种方案。 我很难用 “浪费” 来描述对这段时间的使用,因为如果不是这样,我可能不会意识到对待这类问题上我的做法可能是错误的,并指导我以后应该这样做。 “被迫”啃下源码 既然是从 .class 到生成 .dex 环节出现了问题,那就只能从构建流程中该环节切入去熟悉。 项目用的是 AGP3.4.1 版本,开始从 Transform 方向去尝试解惑:从 Gradle 源码 中尝试跟踪并找到一下问题的答案。主要要解决的问题有: 处理分包的 Transform 是哪个,主要做了什么 影响 maindexlist 最终的 keep 逻辑是怎么确定的 ? 构建系统本身 keep 了哪些,开发者可以 keep 哪些? 从上游输入中接受的 clasee 是怎么根据 keep 逻辑进行过滤的 maindexlist 文件是什么时候生成的,在哪里生成。 跟源码比较痛苦,特别是 Gradle 源码不支持跳转所以只能一个一个类手动查,有些逻辑甚至要看上四五遍。 下面流程只列出核心步骤及方法。 寻找分包 Transform 在应用构建流程中,会经历 “评估” 阶段。当 apply com.android.application 插件之后,评估前后会经历以下流程 1. com.android.build.gradle.BasePlugin#apply() 2. com.android.build.gradle.BasePlugin#basePluginApply() 3. com.android.build.gradle.BasePlugin#createTasks() 4. com.android.build.gradle.BasePlugin#createAndroidTasks() 5. **com.android.build.gradle.internal.VariantManager#createAndroidTasks(**) //重点关注一 6. com.android.build.gradle.internal.VariantManager#createTasksForVariantData() 7. com.android.build.gradle.internal.ApplicationTaskManager#createTasksForVariantScope() 8. com.android.build.gradle.internal.ApplicationTaskManager#addCompileTask() 9. **com.android.build.gradle.internal.TaskManager#createPostCompilationTasks()** //重点关注二 10. com.android.build.gradle.internal.pipeline.TransformManager#addTransform() 上述流程有两个点留意: 知道 VariantManager#createAndroidTasks 开始构建 Android Tasks TaskManager#createPostCompilationTasks方法 为某一个构建场景添加 Task,其中包含了支持 Multi-Dex 的 Task Multi-Dex support 核心代码如下 D8MainDexListTransform multiDexTransform = new D8MainDexListTransform(variantScope); transformManager.addTransform(taskFactory, variantScope, multiDexTransform, taskName -> { File mainDexListFile = variantScope .getArtifacts() .appendArtifact( InternalArtifactType.LEGACY_MULTIDEX_MAIN_DEX_LIST, taskName, "mainDexList.txt"); multiDexTransform.setMainDexListOutputFile(mainDexListFile); }, null, variantScope::addColdSwapBuildTask); transformManager#addTransform 一共有6个参数 第三个为 multiDexTransform 对象 第四个为 预配置的任务,用于生成 mainDexList.txt 的 action,其实就是为了延迟创建任务的,用于设置 mainDexList.txt 文件路径。 到这里,开始有点头绪了。 D8MainDexListTransform 做了什么? D8MainDexListTransform 的构造器参数很关键。 class D8MainDexListTransform( private val manifestProguardRules: BuildableArtifact, private val userProguardRules: Path? = null, private val userClasses: Path? = null, private val includeDynamicFeatures: Boolean = false, private val bootClasspath: Supplier<List<Path>>, private val messageReceiver: MessageReceiver) : Transform(), MainDexListWriter {} manifestProguardRules 为 aapt 混淆规则,编译时产生在 build/intermediates/legacy_multidex_appt_derived_proguard_rules 目录下的 manifest_keep.txt userProguardRules 为项目 multiDexKeepProguard 申明的 keep 规则 userClasses 为项目 multiDexKeepFile 申明的 keep class 这三份文件都会影响最终决定那些 class 会被打到 clesses.dex 中,逻辑在 transform方法 里面: override fun transform(invocation: TransformInvocation) { try { val inputs = getByInputType(invocation) val programFiles = inputs[ProguardInput.INPUT_JAR]!! val libraryFiles = inputs[ProguardInput.LIBRARY_JAR]!! + bootClasspath.get() // 1 处 val proguardRules =listOfNotNull(manifestProguardRules.singleFile().toPath(), userProguardRules) val mainDexClasses = mutableSetOf<String>() // 2 处 mainDexClasses.addAll( D8MainDexList.generate( getPlatformRules(), proguardRules, programFiles, libraryFiles, messageReceiver ) ) // 3 处 if (userClasses != null) { mainDexClasses.addAll(Files.readAllLines(userClasses)) } Files.deleteIfExists(outputMainDexList) // 4处 Files.write(outputMainDexList, mainDexClasses) } catch (e: D8MainDexList.MainDexListException) { throw TransformException("Error while generating the main dex list:${System.lineSeparator()}${e.message}", e) } } 第一处代码拿到 multiDexKeepProguard keep 规则. 第二处代码使用 D8MainDexList#generate方法 生成所有需要 keep 在 classes.dex 的 class 集合, getPlatformRules方法 中强制写死了一些规则。 internal fun getPlatformRules(): List<String> = listOf( "-keep public class * extends android.app.Instrumentation {\n" + " <init>(); \n" + " void onCreate(...);\n" + " android.app.Application newApplication(...);\n" + " void callApplicationOnCreate(android.app.Application);\n" + " Z onException(java.lang.Object, java.lang.Throwable);\n" + "}", "-keep public class * extends android.app.Application { " + " <init>();\n" + " void attachBaseContext(android.content.Context);\n" + "}", "-keep public class * extends android.app.backup.BackupAgent { <init>(); }", "-keep public class * implements java.lang.annotation.Annotation { *;}", "-keep public class * extends android.test.InstrumentationTestCase { <init>(); }" ) 第三处代码把 multiDexKeepFile 申明需要保留的 class 添加到 2 步骤生成的集合中 第四出代码最终输入到 outputMainDexList ,这个文件就是在添加 D8MainDexListTransform 的时候预设置的 mainDexList.txt,保存在 build/intermediates/legacymultidexmaindexlist 目录下。 到这里,如果想办法在勾住 mainDexList.txt则在真正打包 classes.dex 之前修改文件时应该能保证方法数控制在 65536 之下。我们项目中使用了 tinker, tinker 也 keep 了一些类到 classes.dex。从 multiDexKeepProguard/multiDexKeepFile 手段上不存在操作空间,因为这些是业务硬要求的逻辑。只能看编译之后生成的 mainDexList.txt,然后凭借经验去掉一些看起来可能 “前期不需要” 的 class,但稍微不慎都有可能导致 crash 产生。 寻找明确的 “Keep” 链 希望能从代码逻辑上得到 “更为明确的指导”,就得了解下为啥 D8 构建流程, 为啥 keep 了那么多类,这些类是否存在删减的空间。 但是我在 gradle 源码中并没有找到 D8MainDexList.java的 generate方法 相关信息,它被放到 build-system 的另一个目录中,核心逻辑如下。 public static List<String> generate( @NonNull List<String> mainDexRules, @NonNull List<Path> mainDexRulesFiles, @NonNull Collection<Path> programFiles, @NonNull Collection<Path> libraryFiles, @NonNull MessageReceiver messageReceiver) throws MainDexListException { D8DiagnosticsHandler d8DiagnosticsHandler = new InterceptingDiagnosticsHandler(messageReceiver); try { GenerateMainDexListCommand.Builder command = GenerateMainDexListCommand.builder(d8DiagnosticsHandler) .addMainDexRules(mainDexRules, Origin.unknown()) //d8强制写死的规则 .addMainDexRulesFiles(mainDexRulesFiles) //开发者通过 multiDexKeepProguard 添加的规则 .addLibraryFiles(libraryFiles); for (Path program : programFiles) { if (Files.isRegularFile(program)) { command.addProgramFiles(program); } else { try (Stream<Path> classFiles = Files.walk(program)) { List<Path> allClasses = classFiles .filter(p -> p.toString().endsWith(SdkConstants.DOT_CLASS)) .collect(Collectors.toList()); command.addProgramFiles(allClasses); } } } //最终调用 GenerateMainDexList#run return ImmutableList.copyOf( GenerateMainDexList.run(command.build(), ForkJoinPool.commonPool())); } catch (Exception e) { throw getExceptionToRethrow(e, d8DiagnosticsHandler); } } 上述最终通过构建 GenerateMainDexListCommand 对象并传递给 GenerateMainDexList 执行。 这两个类在我们本地 AndroidSdk 里,路径为 {AndroidSdk}/build-tools/{buildToolsVersion}/lib/d8.jar 中,可通过 JD_GUI 工具查看。 GenerateMainDexListCommandBuilder#build方法 在构建对象的时候做了以下工作: 构建 DexItemFactory 工厂对象,用于构建 DexString,DexMethod 等相关 dex 信息 预处理了规则文件,比如删除 “#” 注解相关等,解析成 ProguardConfigurationRule 对象集 构建 AndroidApp 对象,用于记录程序资源的信息,比如 dexClass,libraryResource 等等 最终传递 AndroidApp 对象给 GenerateMainDexList#run方法 调用。 private List<String> run(AndroidApp app, ExecutorService executor) throws IOException, ExecutionException { // 步骤一 DirectMappedDexApplication directMappedDexApplication = (new ApplicationReader(app, this.options, this.timing)).read(executor).toDirect(); // 步骤二 AppInfoWithSubtyping appInfo = new AppInfoWithSubtyping((DexApplication)directMappedDexApplication); // 步骤三 RootSetBuilder.RootSet mainDexRootSet = (new RootSetBuilder((DexApplication)directMappedDexApplication, (AppInfo)appInfo, (List)this.options.mainDexKeepRules, this.options)).run(executor); Enqueuer enqueuer = new Enqueuer(appInfo, this.options, true); Enqueuer.AppInfoWithLiveness mainDexAppInfo = enqueuer.traceMainDex(mainDexRootSet, this.timing); // 步骤四 Set<DexType> mainDexClasses = (new MainDexListBuilder(new HashSet(mainDexAppInfo.liveTypes), (DexApplication)directMappedDexApplication)).run(); List<String> result = (List<String>)mainDexClasses.stream().map(c -> c.toSourceString().replace('.', '/') + ".class").sorted().collect(Collectors.toList()); if (this.options.mainDexListConsumer != null) this.options.mainDexListConsumer.accept(String.join("\n", (Iterable)result), (DiagnosticsHandler)this.options.reporter); if (mainDexRootSet.reasonAsked.size() > 0) { TreePruner pruner = new TreePruner((DexApplication)directMappedDexApplication, mainDexAppInfo.withLiveness(), this.options); DexApplication dexApplication = pruner.run(); ReasonPrinter reasonPrinter = enqueuer.getReasonPrinter(mainDexRootSet.reasonAsked); reasonPrinter.run(dexApplication); } return result; } 步骤一,构建了 ApplicationReader 对象,阻塞等待 read方法 读取了所有程序的资源,如果是存在 .dex 资源,则归类到 dex 类型;如果存在 class 类型,则归到 class 类型(但是过滤了 module-info.class 的文件)。这部分逻辑可在 com.android.tools.r8.util.FilteredArchiveProgramResourceProvider 查看。dex 类型使用 dex 格式解析,class 类型使用字节码格式解析之后保存到 directMappedDexApplication 对象中。 步骤二 AppInfoWithSubtyping 读取了 directMappedDexApplication,计算并设置类的 super/sub 关系。 步骤三 把所有收集到的类信息及类的 super/sub 关系,及 keep 的规则传递给 RootSetBuilder 用于计算 Root 集合,该集合决定哪些类将最终被 keep 到 classes.dex 里面。经过匹配混淆之后获得 Root 集合之后,调用 run() 进行向下检索。主要是计算 Root 集合内的 class 的依赖及使用枚举作为运行时注解类。 步骤四 根据 Root 集合,按照以下两个方法顺序检索得到 mainDexClass 集合,方法逻辑如下。 traceMainDexDirectDependencies方法 添加 Root 节点 class,添加其所有父类及接口; 添加 Root 节点 class 中静态变量,成员变量; 添加 Root 节点 class 中的方法的参数类型的 class,返回值类型对应的 class; 收集 Root 节点 class 的注解。 traceRuntimeAnnotationsWithEnumForMainDex方法 所有类中,如果 class 是注解类型且使用枚举类,则收集; 所有类中,如果 class 使用了上一条规则的枚举类且枚举可见,则也收集。 因此,最终生成的集合,会在 D8MainDexListTransform#transform方法 中合并存在的 multiDexKeepFile 规则,并最终写到 build/intermediates/legacymltidexmaindexlist/ 目录下的 maindexlist.txt 文件。 尝试新方案 那么 D8MainDexListTransform 能够被我勾住使用呢? 当然可以。 找到 D8MainDexListTransform 对应的 Task,可以通过 project.tasks.findByName 来获取 task 对象,然后在 gradle 脚本中监听这个 task 的执行,在 task 结束之后并返回结果之前插入我们自定义的 task,可通过 finalizeBy 方法实现。 而 D8MainDexListTransform 对应 Task 的名字的逻辑通过阅读 TransformManager#getTaskNamePrefix方法 可推断。 把上述所有逻辑封装成一个 gradle 脚本并在 application 模块中 apply 就行了。 project.afterEvaluate { println "handle main-dex by user,start..." if (android.defaultConfig.minSdkVersion.getApiLevel() >= 21) { return } println "main-dex,minSdkVersion is ${android.defaultConfig.minSdkVersion.getApiLevel()}" android.applicationVariants.all { variant -> def variantName = variant.name.capitalize() def multidexTask = project.tasks.findByName("transformClassesWithMultidexlistFor${variantName}") def exist = multidexTask != null println "main-dex multidexTask(transformClassesWithMultidexlistFor${variantName}) exist: ${exist}" if (exist) { def replaceTask = createReplaceMainDexListTask(variant); multidexTask.finalizedBy replaceTask } } } def createReplaceMainDexListTask(variant) { def variantName = variant.name.capitalize() return task("replace${variantName}MainDexClassList").doLast { //从主dex移除的列表 def excludeClassList = [] File excludeClassFile = new File("{存放剔除规则的路径}/main_dex_exclude_class.txt") println "${project.projectDir}/main_dex_exclude_class.txt exist: ${excludeClassFile.exists()}" if (excludeClassFile.exists()) { excludeClassFile.eachLine { line -> if (!line.trim().isEmpty() && !line.startsWith("#")) { excludeClassList.add(line.trim()) } } excludeClassList.unique() } def mainDexList = [] File mainDexFile = new File("${project.buildDir}/intermediates/legacy_multidex_main_dex_list/${variant.dirName}/transformClassesWithMultidexlistFor${variantName}/maindexlist.txt") println "${project.buildDir}/intermediates/legacy_multidex_main_dex_list/${variant.dirName}/transformClassesWithMultidexlistFor${variantName}/maindexlist.txt exist : ${mainDexFile.exists()}" //再次判断兼容 linux/mac 环境获取 if(!mainDexFile.exists()){ mainDexFile = new File("${project.buildDir}/intermediates/legacy_multidex_main_dex_list/${variant.dirName}/transformClassesWithMultidexlistFor${variantName}/mainDexList.txt") println "${project.buildDir}/intermediates/legacy_multidex_main_dex_list/${variant.dirName}/transformClassesWithMultidexlistFor${variantName}/mainDexList.txt exist : ${mainDexFile.exists()}" } if (mainDexFile.exists()) { mainDexFile.eachLine { line -> if (!line.isEmpty()) { mainDexList.add(line.trim()) } } mainDexList.unique() if (!excludeClassList.isEmpty()) { def newMainDexList = mainDexList.findResults { mainDexItem -> def isKeepMainDexItem = true for (excludeClassItem in excludeClassList) { if (mainDexItem.contains(excludeClassItem)) { isKeepMainDexItem = false break } } if (isKeepMainDexItem) mainDexItem else null } if (newMainDexList.size() < mainDexList.size()) { mainDexFile.delete() mainDexFile.createNewFile() mainDexFile.withWriterAppend { writer -> newMainDexList.each { writer << it << '\n' writer.flush() } } } } } } } 而 main_dex_exclude_class.txt 的内容很简单,规则和 multiDexKeepFile 是一样的,比如: com/facebook/fresco com/android/activity/BaseLifeActivity.class ... 这样就可以了,如果你找不到 D8MainDexListTransform 对应的 Task,那你应该是用了 r8 ,r8 会合并 mainDexList 的构建流程到新的 Task,你可以选择关闭 r8 或者寻找新的 hook 点,思路是一样的。 “什么,你讲了一遍流程,但是还是没有说哪些可以删 ” “其实,除了 D8 强制 keep 住的类和 contentProvider, 其他都可以删。” “但是我看到网上很多文章说,四大组件都要 keep 住哦” “建议以我为准。” 当然,我已经试过了,你把入口 Activity 删除,也只是慢一些而已,只是不建议罢了。或者你可以选择把二级页面全部移除出去,这样可能会大大减少 classes.dex 的方法数。 最终效果: methods: 87855 > 49386。 上述分析存在错误欢迎指正或有更好的处理建议,欢迎评论留言哦。 解决问题很痛苦,逼着你去寻找答案,但解决之后真的爽。 欢迎关注 「Android之禅」公众号,和你分享有价值有思考的技术文章。 可添加微信 「Ming_Lyan」备注 “进群” 加入技术交流群,讨论技术问题严禁一切广告灌水。 如有 Android 领域有遇到技术难题亦或对未来职业规划有疑惑,一起讨论交流。 欢迎来扰。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码