首页 文章 精选 留言 我的

精选列表

搜索[公有云],共10000篇文章
优秀的个人博客,低调大师

京东购物车分页方案探索和落地 | 京东云技术团队

随着京东购物车应用场景的丰富化和加车渠道的多元化,京东购物车的商品容量从2015年至今一直在逐步增加。 2015年京东购物车由80件扩容到120件; 2018年由120件扩容到150件; 2020年由150件扩容到180件; 2021年京东PLUS会员扩容到了220件。 持续不断的扩容给我们的后端服务带来了巨大的负载压力,因为用户购物车中商品种类数量的增加对应到后端的计算资源也会线性增加,如何做到资源最大限度的节约又能保证业务和用户的体验不受影响,如何从技术和业务层面综合考量为逐步扩容的购物车诉求做好底层的支撑,一直以来都是摆在我们面前的一个痛点和挑战。 首先描述下京东购物车的特性: 用户在购物车操作完商品后会记录下用户当前的操作状态,比如勾选,反勾选,切换促销后的商品促销信息等,当用户再次进入购物车后会全量获取购物车中的所有商品,根据商品的勾选态,促销等实时计算商品的价格,展示给用户。每次刷新或者修改购物车商品都是全量数据下发。持续扩容势必会持续加大后端服务的压力,同时购物车页面的布局计算、渲染等操作不仅使用户等待页面刷新的时间变长,而且还会占用大量的内存资源,导致手机卡顿。 京东购物车为了提升用户体验,保留了勾选商品总额、优惠促销、运费等一系列整车维度的计算逻辑,最终导致目前无法一步到位去实现购物车主商品的分页。期间也对行业内的主流电商类APP做了充分的调研,大部分APP都没有做购物车分页且购物车容量上限也大都控制在120以下,做了分页的APP也在勾选态保留和全局优惠计算等方面做了一些简化和降级,所以我们决定从另一个方向进行探索和突破,即商品附属信息分页,暂时避开会影响到全局优惠计算和影响业务玩法、流量转化的主数据分页。 什么是商品基础信息和附属信息? 商品基础信息和商品附属信息的划分主要从上游接口层面进行区分,商品基础信息即从购物车中台直接获取的商品信息,比如商品图片、商品名称、商品价格、商品类型等;基于基础信息,通过异步并行框架分批获取的商品的附属信息,比如优惠券、预估到手价、商品库存、活动标签、服务、秒杀、闪购等。 图1 商品信息示例 02 目标 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕 提升用户体验,解决由于上游服务接口无法支撑购物车超多商品并发访问而导致的产品体验问题,在无损用户体验的情况下,保证用户在购物车滑动过程中无感知分页加载商品附属信息; 缩减机器成本,减少不必要的上游接口请求,降低后端服务器负载; 03 技术方案 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。从设计稿出发,提升页面搭建效率,亟需解决的核心问题有: 1)商品附属信息分页加载价值分析 根据购物车线上不同维度埋点数据分析结果显示,京东购物车中商品数量在20-220区间的请求次数占总请求次数一半以上,平均一屏展示的商品数量不超过3个,购物车中商品浏览的平均曝光深度6~7个,由此分析大部分的上游接口调用都有很大节省空间。通过前端线上模拟分页埋点分析预估,商品附属信息分页调用的方式可以减少30+%的上游异步接口调用,做到在无损用户体验的情况下,削减接口调用峰值,降低接口的性能压力和机器资源消耗。 2)商品附属信息分页加载 商品附属信息分页前后接口交互的差异在下图进行了清晰的标识,主要体现在页面刷新和页面滑动两个方面。 图2 异步请求分页方案 商品附属信息不分页加载方案: 客户端触发一次刷新操作需要从各个上游接口获取所有商品信息并组装整合后一次性下发给客户端进行展示,在页面滑动过程中不涉及接口请求。上游接口的调用方式主要分以下3种: 单次获取全量商品某附属信息: 即客户端获取商品基础信息后仅调用一次上游接口,该上游接口一次性返回所有商品的某附属信息。这种方式接口调用频次较低且避免了部分商品附属信息缺失的体验问题,但是随着购物车中商品数量的增加,对于接口的响应时长等性能挑战也越大。 单次获取部分商品某附属信息: 即客户端获取商品基础信息后仅调用一次该上游接口,但只会获取前几个商品的某附属信息,其他商品的该附属信息会缺失。这种方式减少了上游接口的调用频次,但是牺牲了部分用户体验(通常是由于上游接口不支持频繁调用,且单次计算逻辑复杂导致); 分批次获取全量商品某附属信息: 即客户端获取商品基础信息后分批调用该上游接口,从而获取所有商品的某附属信息。这种方式避免了部分商品附属信息缺失的体验问题,但是上游接口的高频次调用给上游带来了较大的挑战,随着购物车中商品数量的增加,机器资源消耗也会随之增加。 优点:对于客户端而言交互简单,只需关心数据刷新/变更类操作(如下拉刷新购物车、勾选反选等),一次性获取购物车全部商品信息后整体刷新页面,无需分析用户滑动行为,不需要处理商品数据的组装整合,逻辑简单轻量。 缺点:客户端每次触发数据刷新/变更类操作,除了从后端获取购物车全部商品基本信息外还需要通过异步并发框架分批请求全部商品的附属信息,直接导致购物车整体流量翻倍,增加机器资源成本。 商品附属信息分页加载方案: 客户端从后端获取商品基础信息后,对商品进行页码划分,然后同步并行请求第1页至屏幕浏览当前页的商品附属信息,组装整合后下发给客户端展示;其他页码的商品附属信息由客户端在列表滑动过程中逐页预加载,将返回的该页商品附属信息与商品基础信息组装整合后展示。下图对商品附属信息分页加载方案中购物车客户端以及各上游接口的整体交互流程进行了清晰的说明,整体详细的步骤为: 调用查询接口时将主商品所在页码的pageSize传递给服务器,服务器将pageSize所在页的主商品的附属信息下发,客户端渲染 将商品的所有附属信息封装为一个独立接口 在主商品上进行打戳,标志预加载的请求时机。此处的打戳标识是根据埋点数据和用户跟踪获取到的预加载标志,既能保证独立的附属信息接口不会有大量无效的加载,同时能够保证附属信息接口的数据及时更新到页面上,确保用户体验 优点:商品附属信息分页加载方案,将用户的刷新/变更操作和滑动操作进行行为差异细分。通过将各页商品的附属信息后置到滑动过程中获取,大幅缓解了单次刷新/变更操作中上游接口集中分批调用带来的流量性能压力,起到日常流量削峰的作用,同时节省了未浏览商品的附属信息异步接口调用(30+%),节约了对应流量的机器资源成本。 缺点:对于客户端而言交互复杂,不仅需要关注购物车商品的刷新/变更,同时需要在滑动过程中关注上一页/下一页/当前页商品附属信息是否完整,针对附属信息缺失的商品适时进行预加载,并对购物车主数据进行组装整合处理。 图3商品附属信息分页加载方案 04 技术难点与解决方案 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。 1)购物车动态、多维分堆规则上移 目前购物车后端对主数据进行不同维度排序、归堆、分类展示。其中后端服务先对购物车主数据进行店铺归堆、促销归堆、时间排序处理,客户端对购物车主数据又进行业务精细化筛选、归堆、排序处理(涉及30天加车、降价、常买、跨店满减、分类等10+个业务场景)。客户端需要对商品筛选、归堆、排序逻辑进行统一收口处理,在此基础上对购物车主数据进行分页。 2 )分页策略选型 商品分页: 从商品维度进行分页,n个商品为一页。由于购物车层级结构比较复杂(店铺-促销-套装/组套-商品),从商品维度进行分页会导致店铺、促销、套装被拆分,影响到购物车中店铺、促销、套装业务逻辑完整性,不能满足购物车复杂的层级结构和业务场景。 店铺分页: 从店铺维度进行分页,n个店铺为一页。由于单个店铺下的商品数量差异过大,从店铺维度进行分页会导致每一页的商品数量差异过大,而上游异步接口是从商品维度进行分批调用的,主数据分页和上游异步接口分批口径不一致,会导致通过分页减少上游接口调用的效果大打折扣。 商品+店铺分页: 从商品维度进行分页,n个商品为一页,但是不拆分店铺,同一个店铺的商品归为同一页。这个分页策略完美地解决了上述两种分页方式带来的问题,既可以避免由于店铺、促销、套装拆分而影响到店铺、促销、套装维度附属信息业务场景,又能通过灵活调控页大小与上游接口分批调用的口径达成一致,进而结合用户浏览行为,将通过分页减少上游接口调用价值最大化。 3 )预加载方案分析 传统意义上的分页通常是对主数据进行分页,不存在数据不完整的情况,仅需要在滑动过程中加载下一页数据。而这里的分页是在主数据完整的情况下针对附属信息进行分页加载,可能会发生列表滑动过程中主数据展示不完整的情况,同时由于购物车特殊业务场景(比如锚点业务、商品顺序变化等)可能会导致当前页或前几页的商品附属信息不完整,所以需要同时考虑预加载上一页、下一页、当前页的交互场景。 如果不考虑预加载的方案,滑动到当前页再加载当前页的商品附属信息,分页异步接口返回后会有信息重组整合后重刷页面的操作,从而出现页面闪烁的情况,影响用户体验。 然而如果将预加载时机太前置,虽然会解决大部分页面闪烁的问题,但会在一定程度上多请求上一页/下一页的异步接口,削减通过分页加载减少上游接口调用的价值。 为了解决上述两个问题,这里设计了预加载时机配置化方案。服务端通过将上一页/下一页的预加载时机配置下发,在线上灵活配置调优,以达到兼顾用户体验和减少上游异步接口调用的最佳平衡,从而将分页价值最大化。 4 )分页接口的高效调用 用户在页面上滑动时,有很多情况。当用户快速滑动时,事实上对滑动过程中的内容是不关心的,只关心滚动结束处的内容,那么用户不关心的内容可以不加载;当用户慢速滑动时,没有必要过早的提前预加载。针对不同的滑动场景,怎么才能在保证用户体验的前提下合理调用分页附属信息接口? 首先,我们根据用户滑动速度有选择的加载分页附属信息接口,当用户滑动过快时不进行接口请求和渲染。其次,当用户滑动较慢时选择较小的预加载阈值。 5)分页接口的脏数据处理 试想在分页接口异步加载的过程中,页面上的基础数据发生了变化,此时的所有操作都是徒劳的。此种情况不仅会严重影响性能,更严重的还会导致页面展示数据的错误,怎么进行脏数据的处理呢? 提到客户端的脏数据处理,很多人都有可能想到锁、信号量,然而锁和信号量并不适用于这个场景,这里将介绍一种更轻量级的实现方案。首先在当前主数据请求后记一个时间戳,在每次异步接口请求前获取到主数据的时间戳,在接口返回后再拿着接口请求前的时间戳和主数据的时间戳进行对比,如果不一致,那么此次的数据为脏数据,就进行丢弃,以此来防止脏数据问题。 05 收益 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。 图4分页收益度量方案 整体的购物车附属信息异步分页方案已经上线运行,对方案落地后的影响和收益也进行了多维度的度量,整体也达到了我们对该方案的预期,在用户体验无感知的情况下完成了全链路流量的节省以及对业务发展更灵活的支撑;分页改造后对比改造前单接口节省约30%的调用量,按大促场景是日常场景峰值流量的几十倍推算,该流量在大促时刻对资源成本的节省比日常的收益大得多,并且端上异步分页探索落地也给后续逐步叠加的附属业务提供了一套可复用、低成本的支撑方案,让业务落地时不用再因为购物车大容量消耗资源而放弃或降级,并且也可以驱动从历史全车计算的重逻辑中拆离一些无需前置计算的逻辑到异步分页中,达到渲染多少计算多少的细粒度计算效果,最大限度降低购物车在交易链路中的资源占用,让京东购物车更低碳的运行。 京东购物车能否从主数据的源头上完成分页?能否在业务对购物车有更大容量诉求时顺畅的支撑?能否在整体链路上不因扩容带来资源成本的增加?后续我们会从业务转化、用户体验、资源成本等角度做更多的实验和衡量,充分将技术结合业务去探索成本、业务支撑、用户体验的最优解。

优秀的个人博客,低调大师

关于接口可维护性的一些建议 | 京东云技术团队

作者:D瓜哥 在做新需求开发或者相关系统的维护更新时,尤其是涉及到不同系统的接口调用时,在可维护性方面,总感觉有很多地方差强人意。一些零星思考,抛砖引玉,希望引发更多的思考和讨论。总结了大概有如下几条建议: 在接口注释中加入接口文档链接 将调用接口处写上被调用接口文档链接 将接口源代码发布到私服仓库 对于状态值常量,优先在接口参数类或者返回值类中定义 如果使用 Map 对象作为传输载体,要提供 Key 值定义常量 针对 Map 返回值,可以考虑使用将 Map 转化成对象 尽可能简化接口依赖 只传递必要字段,尽量避免大而全的接口 将接口的参数和返回值原始数据打印到日志中 将 RPC 接口的类名及方法打印到日志中 核心思想:以人为本,就近原则,触手可及 下面,D瓜哥对每一条建议做一个详细说明。 1. 在接口注释中加入接口文档链接 在做接口开发时,无论是对自有接口的升级改造,还是针对外部接口的从头接入,都涉及到接口文档。不同之处是,前者的工作重点是书写或者更新接口文档;而后者是根据接口文档开发合适的接入代码。但是,经常遇到的一个麻烦是,找不到接口文档。在组内需要找老同事询问;如果是跨部门,还需要两层甚至三层的进行转接,非常麻烦。 D瓜哥认为,在这种情况下,为了方便大家维护,最好的办法就是将接口文档链接直接放在代码注释中,这样后续维护的人员,直接就可以点击链接直达接口文档,简单方便高效。如果是新建的接口,就可以先创建一个空文档,把链接放在注释中,后续再书写文档内容。如果是维护已有接口,可以在维护时,将缺失的链接加入到注释中,自己方便,也方便其他人进行后续的维护更新。这样,在循序渐进的过程中,逐步就可以把文档链接补充到代码中,方便维护代码,也同步更新文档。 2. 将调用接口处写上被调用接口文档链接 在调用其他系统的接口时,没有接口文档,几乎寸步难行。在第一次接入接口时,绝大多数情况下,都是参考着接口文档做接入工作。但是,目前的情况时,接入时参考文档,参考完就随手把文档给“扔了”。后续如果还需要做进一步升级维护,还需要到处找接口文档;另外,交互的系统难免有一些 Bug,在和其他系统维护人员对接处理 Bug 时,只有接口没有文档,对方可能也需要去找文档链接。无形中,很多时间都浪费在了找文档的过程中。 D瓜哥最近尝试了一个实践,就是在接口调用的地方,把接口文档链接当做注释加入到代码中。这样,无论是后续维护升级,还是沟通协调处理问题,都非常方便。别人问接口是什么,连接口+文档都可以一把复制就搞定。 经过最近一段时间的实践情况来看,这个处理非常方便,是一个非常值得推广的实践。再插一句,也可以像一条建议一样,可以在维护代码时,不断把已接入的接口文档加入到调用接口的地方,循序渐进,方便后续人维护升级。 3. 将接口源代码发布到私服仓库 接口文档链接在注释中,在构建结果中就不复存在了。所以,为了方便接口使用方可以在接口中查询到对应的接口文档,就需要把源码也发布到私服仓库中。 这里只说明一下 Java 的相关处理办法。如果使用 Maven 作为构建工具的话,默认是不会将源代码发布到私服仓库中的。关于如何将源代码发布到,在 升级 Maven 插件:将源码发布到私服仓库 中已经做过相关介绍,这里就不再赘述。 除了将源码发布到私服仓库,另外,还建议编译构建时,保持方法的原始参数命名。这个也可以通过配置 Maven 插件来完成,具体配置见: 升级 Maven 插件:字节码文件包含原始参数名称。 4. 对于状态值常量,优先在接口参数类或者返回值类中定义 在做接口开发时,很多数据都有一个状态值,比如订单状态,再比如接口状态等等。目前的一个情况时,这些状态值大部分书写在文档中,在接入接口时,需要接入方自定义这些状态值。这就有些繁琐了,而且状态定义也不明确,甚至有可能遗漏一些重要的状态值。有些懒省事,直接在代码中硬编码一个魔法值,后续维护的跟还需要根据上下文反推这个值的含义,非常不利于维护。 D瓜哥个人觉得,有两个处理办法: 如果状态值不是很多,优先在接口参数类或者返回值类中定义。 如果状态值很多,可以考虑单独抽取成一个常量类或者枚举类。 这样使用的时候,触手可及。不需要到处去找。 5. 如果使用 Map 对象作为传输载体,要提供 Key 值定义常量 有些系统可能考虑方便增加字段,选择使用 Map 作为数据载体。自己开发的时候很爽,但是给接口接入却非常不友好。接入方从 Map 中获取数据时,要么自己定义 Key 值;要么直接使用魔法值硬编码在代码中。使用前者方案,就需要在各个接入方都需要自定义一套;使用后者,初期是省事了,后来维护的人员就懵逼了。这都无形中增加了很多维护成本。 D瓜哥觉得一个方案更优,那就是直接由接口提供方来定义这些可以取值的 Key 值常量。这样,任何接入方都可以直接使用这些常量。 6. 针对 Map 返回值,可以考虑使用将 Map 转化成对象 针对 Map 的处理,即使按照 如果使用 Map 对象作为传输载体,要提供 Key 值定义常量 推荐的做法,定义了相关的 Key,在取值时,也略有麻烦,需要不断的 map.get(KEY)。一个更简单的方法是自定义一个类型,使用工具将 Map 对象转化成自定义类型的对象。这样就可以直接使用方法调用来取值。 在 Java 中,可以直接使用 Jackson 来完成这个转换工作。工具类代码如下: import com.fasterxml.jackson.databind.DeserializationFeature; import com.fasterxml.jackson.databind.ObjectMapper; import lombok.extern.slf4j.Slf4j; import org.apache.commons.collections.CollectionUtils; import java.util.*;java /** * Map 工具类 * * @author D瓜哥 · https://www.diguage.com */ @Slf4j public class MapUtils { private static final ObjectMapper MAPPER = new ObjectMapper(); static { MAPPER.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false); } /** * 将 Map 转换成指定类型的对象 * * @author D瓜哥 · https://www.diguage.com */ public static <T> T convertToObject(Map<String, Object> data, Class<T> clazz) { try { T result = MAPPER.convertValue(data, MAPPER.getTypeFactory().constructType(clazz)); if (log.isInfoEnabled()) { log.info("converted {} to a {} object: {}", JsonUtils.toJson(data), clazz.getSimpleName(), JsonUtils.toJson(result)); } return result; } catch (Exception e) { log.error("converting failed! data: {}, class: {}", JsonUtils.toJson(data), clazz.getSimpleName(), e); } return null; } /** * 将 Map 转换成指定类型的对象 * * @author D瓜哥 · https://www.diguage.com */ public static <T> List<T> convertToObjects(List<Map<String, Object>> datas, Class<T> clazz) { if (CollectionUtils.isEmpty(datas) || Objects.isNull(clazz)) { return Collections.emptyList(); } List<T> result = new ArrayList<>(datas.size()); if (CollectionUtils.isNotEmpty(datas)) { for (Map<String, Object> data : datas) { T t = convertToObject(data, clazz); result.add(t); } } return result; } } 7. 尽可能简化接口依赖 现在,很多对外暴露接口的定义是,接口定义放在一个模块中;模型定义在一个模块中;有些工具类又定义在一个模块中。接口依赖模型模块;模型模块又依赖工具类模块;而工具类依赖了一大堆外部依赖。个人觉得这是一个非常不好的实践。会导致很多不必要的依赖被间接引入到了接口使用方的系统中,无形中增加很多维护成本。 D瓜哥推荐的一个实践是:将接口和模型定义放在一个模块中,对外暴露也只需要这一个模块即可。接口使用方只需要引入这一个依赖。避免引入很多无用的其他外部依赖。如果模型需要依赖一些公共的父类,可以考虑将这些单独定义在一个模块中,这个模块只保存多个系统依赖的公共类,并且剔除掉一些工具类的定义,这样就可以保证接口依赖的纯净性。如果其他系统需要工具类,让其明确去引入,而不是被动依赖。 对于前面 对于状态值常量,优先在接口参数类或者返回值类中定义 中提到了“如果状态值很多,可以考虑单独抽取成一个常量类或者枚举类。” 这里存在一种情况需要特别说明,状态值的定义需要在本系统的业务模块的代码中使用,可以将接口的依赖加入到改业务模块的依赖中,而不是反过来。为什么会这样的操作?一个核心思想是保持对外暴露接口的纯净性。这样既可以减少状态定义的重复性,又可以减少接口的外部依赖。 8. 只传递必要字段,尽量避免大而全的接口 观察很多系统,尤其是一些以业务为核心的系统的对外暴露接口,很多接口是大而全的接口,一个接口就可以把指定数据的所有信息全部返回出去。这样,很多字段需要去识别,也要在众多字段中区筛选出来符合自己要求的数据,无形中浪费了很多心智,不利于维护。 D瓜哥认为,在做接口开发时,一定要做一个“吝啬的守财奴”。把数据当做财富一样守护,对外只提供必要的数据,做到“够用就行”。 这一点不仅仅是维护上的考虑,还有数据传输效率的点。在其他条件相同的情况下,更小的数据,无论是机器处理效率,还是传输效率,都会更快更高。 关于传输效率上的一些思考,结合 Hessian、Msgpack 和 JSON 实例对比 以及 “Hessian 协议解释与实战” 等文章来看,有几个原则值得重视的: 优先使用 boolean 型; boolean 型满足不了,次优选择 int 整型数据;再次可以考虑 long 型; 日期优先使用内置的日期类型(含 Java Time API 类型),而不是格式化成字符串。 对于以上类型不满足,则选择使用字符串。 集合类型,链表优先使用 ArrayList,也可以考虑使用 Iterator;哈希优先使用 HashMap; 以上情况都不符合要求才选择自定义对象。 9. 将接口的参数和返回值原始数据打印到日志中 据观察,一些开发人员没有将接口,尤其是 RPC 接口的参数及返回值打印到日志中。这对定位问题非常不利。说的更直白一点,非常不利于甩锅。当出了问题,不能第一时间就凭借参数及返回值顺利甩锅。可能导致自己花很多时间去排查问题,最后发现是自己依赖的其他系统的问题。 所以,一定要谨记,将接口的参数和返回值原始数据打印到日志中。D瓜哥凭借这个实践,在一些客诉及反馈中,顺利脱身,实现完美甩锅。 10. 将 RPC 接口的类名及方法打印到日志中 D瓜哥也在尝试一个实践:将 RPC 接口的类名和方法,再加上参数或者返回结果,同时打印到日志中。 这里为什么和上面的 将接口的参数和返回值原始数据打印到日志中 单独列出来?因为,在这个实践中,强调的是 “RPC 接口”。相对来说, RPC 接口存在更多容易出错的问题,经常需要脱离系统去单独测试 RPC 接口的可用性。把类名就方法名可以更方便在出现问题时,就可以及时根据日志中的信息,去单独测试 RPC 的可用性。 11. 核心思想:以人为本,就近原则,触手可及 洋洋洒洒总结了这么几条建议。这里做一个总结。 对于可维护性建议的一个核心思想就是:以人为本,就近原则,触手可及。通常来说,人都是有一定的惰性的。如果把饭端到眼前,相信任何正常人无法抗拒美食的诱惑。而这里提到的一些可维护性的点,就是尽可能照顾人“懒”的特性,在第一次时,就把该做的工作做到位,减少后续人员不必要的麻烦,让人可以“合法偷懒”。 加油!争取让更多人可以更好地偷懒。💪🏻💪🏻💪🏻

优秀的个人博客,低调大师

以数据思维和技能提升数据应用测试实践 | 京东云技术团队

作者:京东零售 周雪梅 以数据思维和技能提高测试覆盖率和效率。数据应用测试,功能测试主要聚焦在数据流向(输入和输出)。 一、背景 数据质量组当前主要承接黄金眼和商智中的供应链模块,商智包括PC(品牌版:商家端,运营端)和M端。各模块的产品特征和测试范围和策略的通用模式如下图所示,图中灰色部分是待建设中。 从图中可见,产品的数据流向主要包括业务数据、模型数据、后台应用、前台应用四个模块,更细一点数据流向包括以下几步 应用离线(T+1)和实时(大促控制台当日和实时库存)数据加工到app层表中,然后推到ck中; 用户在前台操作确定查询条件后查询,前台会将该查询请求到后台,后台解析出指标维度,查询ck后同步指标结果给前台,然后给用户展示。 二、测试策略 测试策略,首先聚焦在从0到1的测试场景,后面会针对一些特殊场景进行单独的介绍。 1、模型数据 模型数据的测试前提是了解到数据安全和数据时效(特别是deadline时间),策略主要包括探测、功能测试、监控。 探测主要采用自动化的方式,按模式校验输出html的报告。当前完成了分区连续性探测、NULL占比、统计变量、枚举字段的分布三种模式,后续计划加上环比,以及包含部门、金额、数量等供应链涉及的关键字的特殊校验; 1)分区连续性探测识别:分区总数、结束和开始时间的天数差距去识别分区类型,来判断分区是否连续 2)最近三个dt的总数环比(环比差距0.1会自动标红) 3)最近三个dt的NULL占比和环比(NULL环比差距0.1会自动标红) 4)最近三个dt的统计值情况 功能测试主要采用手工和自动化的方式,自动化主要是针对通用的数据属性测试,手工主要是针对业务属性和非通用数据属性的测试。 监控待建设,后续的计划是把探测和功能测试沉淀的自动化沉淀为任务进行频次监控 2、后台测试 后台测试的测试范围主要集中在功能(指标维度的准确性)、性能和安全。 功能(指标维度的准确性),采用手工和自动化回归的方式进行。自动化是依托九数和deeptest平台建设的,流水线的方式自动生成deeptest支持的用例进行回归测试。未来规划是提升接口验证的覆盖率和适应场景。 安全,把安全的测试点建设到后台的功能测试中,权限内可查非权限内不可查。 性能 3、前台测试 前台测试聚焦在数据的输入输出和其他。输入指前台的请求入参是否准确;输出是指前台样式展示和数据取值(即后台接口返回的key和前台展示的映射关系)。其他是指页面兼容性和资源权限等。 1)前台输入测试,现状是采用手工+录制识别的方式验证请求入参是否准确。录制识别的方式采用chrome插件MeterSphere JMX Recorder录制前台请求并导出为jmx文件,录制的方式建议每次改变一个查询条件触发后台查询。对导出的jmx文件进行识别转换为df,利用窗口函数去验证这一请求和上一次请求的不同之处是否只有1处。下面两图分别为文件解析后的df对象和检测入参变化的结果(rank非1的变化数大于等于2就需要细化查看是否有问题,其中变化项change_value,变化数change_n,请求的顺序rank),执行命令#python test_web_input.py jmx文件(autotest-data/公共/前端) 2)前台输出测试范围主要包括页面样式展示、数据映射等。当前在持续建设用例模板。 样式展示主要是文本和数值的展示样式,主要采用人工验证沉淀期望结果,然后自动化回归,采用的cypress(支持接口mock)可视化的测试。当前的建设是梳理包括的数据样式的模式,通过mock的方式快速返回样式下的多场景,如下图可见,接口为输入项,选择接口中包括的样式范围,输出需要多少种测试场景能覆盖所有的样式场景。 数据映射是后台接口中数据和前台展示数据的映射关系正确,主要采用人工验证沉淀期望结果,然后自动化回归,采用的cypress可视化的测试。 3)前台的其它测试,兼容和权限 兼容是浏览器或者手机版本的兼容性测试; 权限包括菜单和数据权限 4、技改 数据应用的技改指数值未变,架构升级。 4.1数据技改 测试方案是新表和老表数据对比结果是否一致,采用的方式有两种,1)hivesql的join;2)差集为空 4.2后台技改 测试方案是新老应用的接口数据是否一致,采用的方式是接口测试。选择入参列表,循环遍历新老接口,对接口返回转换为df,df对比是否一致 三、测试沉淀 自动化沉淀到中coding中,里面包含了数据、后台和前台三个模块。

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册