一种简化操作日志记录方案 | 京东云技术团队
一、背景:
后台系统配置越来越多的出现需要进行日志记录的功能,且当前已有日志记录不可复用,需要统一日志记录格式,提高日志记录开发效率。
二、预期效果展示:
新建动作:
修改动作:
删除动作:
三、数据存储:
注:可以选择其他存储方式,这里只简单举个例子
`biz_id` bigint(20) NOT NULL DEFAULT 0 COMMENT '业务id', `biz_type` tinyint(4) NOT NULL DEFAULT 0 COMMENT '业务类型', `operator_id` varchar(128) NOT NULL DEFAULT '' COMMENT '操作人', `operate_content` text COMMENT '操作内容', `change_before` text COMMENT '修改前', `change_after` text COMMENT '修改后', `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
四、原理简述:
日志构建关注两个对象,一个是修改前,修改后:
修改前:null + 修改后:X = 新建
修改前:Y + 修改后:X = 更新
修改前:Y + 修改后:null = 删除
修改内容判断依据传入的两个对象,对两个对象的每个属性进行逐一对比,如果发生变化则是需要进行日志记录字段;关注的属性使用注解进行标注。
五、具体实现:
注解:
@Target(ElementType.FIELD) @Retention(RetentionPolicy.RUNTIME) @Inherited @Documented public @interface LogField { String name() default ""; String valueFun() default ""; boolean spliceValue() default true; }
name: name值表示该字段如果被修改,应在日志中记录的字段名;默认取字段名
valueFun: 表示获取改变字段内容的获取方法;默认取字段值,若valueFun方法不存在,则取默认值
spliceValue: 日志是否需要拼接变更内容,默认拼接
注解处理:
@Service @Slf4j public class OperateLogService { @Resource private CommonOperateLogService commonOperateLogService; enum ActionEnum{ ADD("新建"), UPDATE("修改"), DELETE("删除"); ActionEnum(String desc) { this.desc = desc; } public String desc; } private int insertLog(CommonOperatorLog commonOperatorLog){ String result = commonOperateLogService.insertLog(JSON.toJSONString(commonOperatorLog)); Response response = JSON.parseObject(result, Response.class); return Objects.isNull(response) || ApiResponse.Status.fail.equals(response.getStatus()) ? 0 : (int) response.getContent(); } public PageOutput<CommonOperatorLog> queryList(Long bizId, Integer bizType, Integer pageNum, Integer pageSize){ String result = commonOperateLogService.queryLog(bizId, bizType, pageNum, pageSize); PageOutput pageOutput = JSON.parseObject(result, new TypeReference<PageOutput<CommonOperatorLog>>() {}); return pageOutput; } public <T> void saveLog(String operatorId,Long bizId, Integer bizType, T target, T original){ if(StringUtils.isBlank(operatorId) || (Objects.isNull(target) && Objects.isNull(original))){ throw new IllegalArgumentException(); } if(Objects.nonNull(target) && Objects.nonNull(original) && !target.getClass().isAssignableFrom(original.getClass())){ throw new IllegalArgumentException(); } ActionEnum action = getAction(target, original); List<Triple<String, String, LogField>> changeInfos = getChangeInfoList(target, original); List<String> changeInfoList = new ArrayList<>(); if(CollectionUtils.isEmpty(changeInfos) && !ActionEnum.UPDATE.equals(action)){ changeInfoList.add(0, action.desc); }else if (CollectionUtils.isEmpty(changeInfos)){ return; }else { changeInfoList = changeInfos.stream().map(i -> i.getRight().spliceValue() ? action.desc + StringUtils.joinWith("为:", i.getLeft(), i.getMiddle()) : action.desc + StringUtils.join("了", i.getLeft())) .collect(Collectors.toList()); } String operateContext = StringUtils.join(changeInfoList, "\n"); operateContext = operateContext.replaceAll("\"","") .replaceAll("\\[","").replaceAll("\\]",""); CommonOperatorLog operatorLog = new CommonOperatorLog(); operatorLog.setBizId(bizId); operatorLog.setBizType(bizType); operatorLog.setOperateContent(operateContext); operatorLog.setOperatorId(operatorId); operatorLog.setChangeBefore(JSON.toJSONString(original)); operatorLog.setChangeAfter(JSON.toJSONString(target)); this.insertLog(operatorLog); } private ActionEnum getAction(Object target, Object original){ ActionEnum action = ActionEnum.ADD; if(Objects.nonNull(target) && Objects.nonNull(original)){ action = ActionEnum.UPDATE; }else if(Objects.nonNull(target)){ action = ActionEnum.ADD; }else if (Objects.nonNull(original)){ action = ActionEnum.DELETE; } return action; } private<T> List<Triple<String, String, LogField>> getChangeInfoList(T target, T original){ if(Objects.isNull(target) || Objects.isNull(original)){ return new ArrayList<>(); } List<Pair<Field, Object>> targetFields = allFields(target); List<Pair<Field, Object>> originalFields = allFields(original); if(targetFields.size() != originalFields.size()){ //理论上不可能执行到这 throw new IllegalArgumentException(); } List<Triple<String, String, LogField>> result = new ArrayList<>(); for (int i = 0; i < targetFields.size(); i++) { Pair<Field, Object> targetField = targetFields.get(i); Pair<Field, Object> originalField = originalFields.get(i); ReflectionUtils.makeAccessible(targetField.getKey()); ReflectionUtils.makeAccessible(originalField.getKey()); Object targetValue = ReflectionUtils.getField(targetField.getKey(), targetField.getValue()); Object originalValue = ReflectionUtils.getField(originalField.getKey(), originalField.getValue()); if(targetValue != originalValue && (Objects.isNull(targetValue) || (!targetValue.equals(originalValue) && compareTo(Pair.of(targetField.getKey(), targetValue), Pair.of(originalField.getKey(), originalValue)) && !JSON.toJSONString(targetValue).equals(JSON.toJSONString(originalValue))))){ result.add(Triple.of(getFieldName(targetField.getKey()), getFieldValue(targetField.getKey(), targetField.getValue()), targetField.getKey().getAnnotation(LogField.class))); } } return result; } private boolean compareTo(Pair<Field, Object> targetField, Pair<Field, Object> originalField){ Field field = targetField.getKey(); Object targetValue = targetField.getValue(); Object originalValue = originalField.getValue(); boolean canCompare = Arrays.stream(field.getType().getInterfaces()).anyMatch(i -> Comparable.class.getName().equals(i.getName())); if(canCompare && Objects.nonNull(targetValue) && Objects.nonNull(originalValue)){ Method compareTo = ReflectionUtils.findMethod(field.getType(), "compareTo", field.getType()); if(Objects.isNull(compareTo)){ return true; } Object compared = ReflectionUtils.invokeMethod(compareTo, targetValue, originalValue); return (int)compared != 0 ; } return true; } private <T> List<Pair<Field, Object>> allFields(T obj){ List<Triple<Field, Object, Boolean>> targetField = findField(obj); List<Triple<Field, Object, Boolean>> allField = Lists.newArrayList(targetField); List<Triple<Field, Object, Boolean>> needRemove = new ArrayList<>(); for (int i = 0; i < allField.size(); i++) { Triple<Field, Object, Boolean> fieldObjectDes = allField.get(i); if(!fieldObjectDes.getRight()){ ReflectionUtils.makeAccessible(fieldObjectDes.getLeft()); Object fieldV = ReflectionUtils.getField(fieldObjectDes.getLeft(), fieldObjectDes.getMiddle()); List<Triple<Field, Object, Boolean>> fieldList = findField(fieldV); if(CollectionUtils.isNotEmpty(fieldList)){ allField.addAll(fieldList); needRemove.add(fieldObjectDes); } } } if(CollectionUtils.isNotEmpty(needRemove)){ allField.removeAll(needRemove); } return allField.stream().map(i->Pair.of(i.getLeft(), i.getMiddle())).collect(Collectors.toList()); } private <T> List<Triple<Field, Object, Boolean>> findField(T obj){ Class<?> objClass = obj.getClass(); Field[] declaredFields = objClass.getDeclaredFields(); List<Field> allFields = Lists.newArrayList(declaredFields); if(Objects.nonNull(objClass.getSuperclass())){ Field[] superClassFields = objClass.getSuperclass().getDeclaredFields(); allFields.addAll(Arrays.asList(superClassFields)); } List<Triple<Field, Object, Boolean>> result = new ArrayList<>(); for (Field declaredField : allFields) { LogField annotation = declaredField.getAnnotation(LogField.class); if(Objects.nonNull(annotation)){ result.add(Triple.of(declaredField, obj, declaredField.getType().getPackage().getName().startsWith("java"))); } } return result; } private String getFieldName(Field field){ LogField annotation = field.getAnnotation(LogField.class); String name = annotation.name(); if(StringUtils.isBlank(name)){ name = field.getName(); } return name; } private <T> String getFieldValue(Field field, T targetObj){ LogField annotation = field.getAnnotation(LogField.class); if(!annotation.spliceValue()){ return ""; } String valueFun = annotation.valueFun(); if(StringUtils.isBlank(valueFun)){ Object fieldValue = ReflectionUtils.getField(field, targetObj); return getStrValue(fieldValue); }else { Method valueMethod = ReflectionUtils.findMethod(targetObj.getClass(), valueFun); if(Objects.isNull(valueMethod)){ Object fieldValue = ReflectionUtils.getField(field, targetObj); return getStrValue(fieldValue); }else { ReflectionUtils.makeAccessible(valueMethod); Object invokeMethodRes = ReflectionUtils.invokeMethod(valueMethod, targetObj); return getStrValue(invokeMethodRes); } } } private String getStrValue(Object fieldValue){ List<String> emptyStr = ImmutableList.of("\"\"", "{}","[]"); String value = Objects.isNull(fieldValue) ? "无" : JSON.toJSONString(fieldValue); return emptyStr.contains(value) ? "无" : value; } }
六、使用示例:
1、使用的日志记录对象(这个对象只为日志服务)
public class SubsidyRateLog { @LogField(name = "补贴率名称") private String name; @LogField(name = "适用城市", valueFun = "getCityNames") private List<Integer> cityIds; private List<String> cityNames; }
name是直接展示字段,所以修改值即name本身的值;cityIds 是我们关心比较字段,当它值不一样时进行 字段value 值获取,这个值是展示在前端的,所以可以根据需要进行格式定义,默认是将取到的值进行toJSON;当前例子中获取的是getCityNames方法返回的值;
2、无专用日志对象(大多数时候我们有自己的实体对象,但不包含具体日志描述字段),需要进行继承
public class SubsidyRate { @LogField(name = "补贴率名称") private String name; @LogField(name = "适用城市", valueFun = "getCityNames") private List<Integer> cityIds; } @Data public class SubsidyRateLog extends SubsidyRate{ private List<String> cityNames; }
此方式适用于兼容现有对象,而不去破坏现有对象的完整性
3、对象包含子对象(比较复杂的大对象,如Task中的券信息)
public class SubsidyRateLog { @LogField(name = "补贴率名称") private String name; @LogField private Address address; } public class Address { @LogField(name = "省份") private String province; @LogField(name = "城市") private String city; }
此情况下会将所有信息平铺,如果 Address 中 没有LogField 注解,那么会直接使用将获取address值,如果存在注解,那么将忽略address本身,只关注注解字段。
作者:京东零售 祁伟
来源:京东云开发者社区 转载请注明来源

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
有效降低数据库存储成本方案与实践 | 京东云技术团队
背景 随着平台的不断壮大,业务的不断发展,后端系统的数据量、存储所使用的硬件成本也逐年递增。从发展的眼光看,业务与系统要想健康的发展,成本增加的问题必须重视起来。目前业界普遍认同开源节流大方向,很多企业部门也针对数据库存储降低成本进行了尝试,有的删数据、有的删索引、有的做压缩、有的做冷热分离,方式方法层出不穷,不一而足,然而不是因为收效甚微而导致没有达到预期,就是由于改造成本过大,投入周期过长,导致投产比不高,虚耗人力。笔者目前所在部门也正好面临同一问题,一个账单系统,存储数据超过100T,占用40台物理机,40库,一个分表就有20480张,这样的分表有4个,这种存储架构相对臃肿,要想实践降低成本的诉求,难度很高。 本文主要介绍方法,方案也会涉及,但不会特别细致的展开。 挑战 核心挑战有以下几个: 数据安全问题:无论是删数据,做压缩,冷热分离,对于已经占据100T磁盘空间的存储系统都是困难的操作,一个不小心,数据丢失了,或者无法正常获取数据了,这些问题对部门、对公司都会造成巨大损失。 系统稳定性问题:一些有效的降低存储空间的方案,如数据序列化、压缩等,无外乎是用时间换空间,牺牲性能换取...
- 下一篇
文生图大型实践:揭秘百度搜索AIGC绘画工具的背后故事!
作者 | Tianbao 导读 2023年以来,AIGC技术已催生了新一轮人工智能浪潮。AI绘画作为大模型最引人瞩目的应用领域之一,近年来也取得了重大突破。AI绘画系统可以根据用户的输入或提示生成各种风格的图像,这为艺术家、设计师和创作者提供了强大的工具,也为数字创意领域带来了新的可能性。 近日,百度搜索主任架构师Tianbao应邀参加了知名技术媒体InfoQ的“极客有约”对话节目,与主持人和观众们就图像生成技术进行了深入探讨,包括百度搜索的应用场景、相关技术的思考,以及在搜索业务场景的应用落地经验。 本文详细记录了访谈内容。 全文10034字,预计阅读时间26分钟。 亮点: 1、这是一个巨大的变革,从过去用户在全网寻找图像,转变为结合了查找图像和生成图像两种方式,以满足用户更具体的需求,这也在一定程度上鼓励用户更主动地表达他们真正的需求。 2、要使一个模型更好地理解中文,准备和清理与中文语义相关的语料非常重要。 3、对于去除低质量样本和构建高价值样本,都是图文对齐所必需的能力。 4、百度搜索需要满足用户在内容和风格方面多样化的需求,在百度搜索目前支持了上千种不同的画面风格定义。 5、...
相关文章
文章评论
共有0条评论来说两句吧...