首页 文章 精选 留言 我的

精选列表

搜索[通用文字识别],共10000篇文章
优秀的个人博客,低调大师

UniAdmin 零前端代码通用后台 1.0.0-build20200113 发布

(注:标题所提到的零代码是指系统开发时自定义组件除外的后台页面部分,前台网页小程序APP不涉及) 简介 UniAdmin是一套渐进式模块化开源后台,采用前后端分离技术,数据交互采用json格式,功能低耦合高内聚;核心模块支持系统设置、权限管理、用户管理、菜单管理、API管理等功能,后期上线模块商城将打造类似composer、npm的开放式插件市场;同时我们将打造一套兼容性的API标准,从ThinkPHP5.1+Vue2开始,逐步覆盖laravel、spring-boot、django、yii、koa、react等多语言框架。 特性 模块化 UniAdmin后台本着高内聚低耦合的原则, 模块作为UniAdmin的最小功能包可以共享 用户可以在模块市场上传下载模块 Builder动态页面构建 UniAdmin首创自主研发了基于前后端分离的第二代页面自动生成技术,目前支持list、form、info、tab、stack等Builder类型,自动生成列表、自动 生成表单等等都能很容易完成,二者结合可以完成90%以上的 后台功能需求。 多平台支持 UniAdmin诞生在移动互联网后半场,面多各种 流量入口,UniAdmin将从如下方面对多个平台支持: pc端采用web方式实现,手机端将采用uni-app技术, 达到一次开发全面覆盖iOS、安卓、微信小程序、支 付宝小程序、百度小程序、头条小程序、H5,从而 节省开发者的大量精力。 多语言API兼容 UniAdmin后台将打造统一的后台框架体系, 后端横跨php、java、python、node、.net 等等语言,前端将支持vue、react、angular 语言,多个语言支持通过统一的API标准兼容, 同时UniAdmin将从tp5+vue版本做起,先建立 API标准及示例,后期吸收优秀的志愿者加入 不同语言是实现开发 20200113远程定义能力更新: 【新增】支持自定义Form组件来满足系统内置组件不符合业务需要的场景,可以不用自定义整个页面组件了。 【新增】自定义页面组件支持在列表里弹窗打开远程组件 【新增】自定义页面组件支持传递参数给远程组件 UniAdmin重要更新日志: 【新增】ListBuilder新增addTopButtons、addRightButtons和addColums方法 【新增】支持表单项目联动显隐 【新增】新增远程自定义组件支持 【变更】对云后台1.0.0版本的支持 云后台1.0.0能力更新: 【新增】弹窗支持高度与点击遮罩是否关闭选项 【新增】TinyMCE新增135编辑器插件 【新增】TinyMCE新增新年插件 【优化】利用ready为false时组件未渲染,对数据进行必要的预处理,更好的对后端数据类型容错。 【优化】第三方js库不在首页加载尽量都懒加载化处理 【修复】修复FormBuilder商品价格sku编辑类型 【修复】ListBuilder中筛选下拉框当前label显示 【新增】除了在左侧导航打开新页面外支持在ListBuilder弹窗打开远程组件 【修改】修改远程组件与iframe规范新增outUrl承载外部链接 【修复】修复前端接管数据预处理后导致的el-dialog无法打开 【变更】iframe和远程组件采用outUrl加载并且自动判断是否要补齐域名 【优化】优化在业务中比如表单提交完成自动关闭弹窗接口 【新增】远程组件支持传递query参数 官方网站:https://uniadmin.jiangruyi.com 下载地址:https://gitee.com/jry/uniadmin

优秀的个人博客,低调大师

Oplog4j - 基于Spring的通用操作日志生成工具

作为一个JAVA程序员, 都应该了解操作日志的需求吧? 这里介绍一个快速实现类似操作日志, 审核日志等审查功能的开源工具oplog4j. 实例 先来看一个OpLog4j生成的操作日志实例. 为了便于查看, 这里对内容做了格式化, 还添加了一些注释说明. 开发者可以根据这个实例的内容判断OpLog4j是否能满足产品的需求. //以下内容是基于一个单元测试中, com.github.djbing85.model.DefaultOpLog的真实输出 summary: update user info //操作项名称, 这里是更新用户信息 operator: system admin //这里记录了操作人, 如果你的操作人是一个ID, 也可以在想要的地方进行转换 //变更前的UserBO, JSON格式 pre: {"auditStatus":0,"balance":815146771322186439.1516528490624142744280788974720053374767303466796875,"classifyMsg":"top secret: 06dd9897-8600-49bf-a61a-ef99dae25136","createTime":1599493177359,"ignoreField":"invisible.de272fdd-f483-4a5c-b841-3b6ab4932941","phone":"911","pswd":"The quick brown fox jumps over the lazy dog","status":0,"type":"e","userId":1,"userName":"jasper.d.0e6721ab-f88a-4144-908a-e5667792fe7a"} //变更后的UserBO, JSON格式 post: {"auditStatus":1,"balance":5825067578147956587.33458620514737635875945898078498430550098419189453125,"classifyMsg":"top secret: 677b5c9d-b7f5-4ef3-9f67-d8b37391cbad","createTime":1599493177359,"ignoreField":"invisible.9a1c12c3-6ea9-4249-9176-9f13ddd464e9","phone":"911","pswd":"The quick brown fox jumps over the lazy dog","status":1,"type":"p","userId":1,"userName":"jasper.d.1454e20f-3f34-46d5-8c4e-cb20442348f8"} //变更详情, 变更详情的内容是在com.github.djbing85.aop.DefaultOpLogAOPInterceptor.getModelDiff(Class<BO>, Object, Object)中生成的, 可以通过继承类的方式定制自己想要的变更详情样式. diff: //<变更项目名称> <变更前的值> --> <变更后的值> User Name: jasper.d.6b25870e-bf31-448d-a3e2-8c19a87b915e --> jasper.d.7ea08e0e-0409-4da1-b283-e04de87a93d8 //状态的原值是0/1, 这里转换成了Enable/Disable, 详细的实现请参考后续的文档 Status: Enable --> Disable //注意这里的0, 是没有正确进行fieldMapping的情况下, 取的原值展示 Audit Status: 0 --> PENDING //对比原值-7500572336794443600.2980875307817212327421430018148384988307952880859375, 可见数字被格式化了 Balance: -7,500,572,336,794,443,600.3 --> 8,830,565,855,212,825,657.58 //操作的时间 opTime: Tue Sep 08 11:05:01 CST 2020 //类型 opType: UPDATE //BO类 modelClass: class com.github.djbing85.test.xml.model.UserBO 上面这样详细的操作变更详情, 应该就可以满足大部分对于操作日志的需求了. 这里我们总结一下操作日志的几个要素: 操作日志的要素 要素 说明 summary 方法简要描述 operator 操作人 pre 变更前BO值 post 变更后BO值 diff 差异 opTime 操作时间 opType 操作类型, 新增/编辑/删除 modelClass 操作日志bean的类型 实现流程 引入依赖 Maven Dependency 参考 Maven Center Repo, 如下引入MAVEN依赖 <dependency> <groupId>com.github.djbing85</groupId> <artifactId>oplog4j</artifactId> <version>0.0.1-RC01</version> </dependency> Gradle Groovy implementation 'com.github.djbing85:oplog4j:0.0.1-RC01' Gradle Kotlin implementation("com.github.djbing85:oplog4j:0.0.1-RC01") 配置总览 之后开发者所需要做的, 仅仅是通过一些简单配置, 就可以快速实现操作日志的功能 配置项目 说明 类 Bean注释 标记BO Model bean的属性名称, 转换规则等等 OpLogModel, OpLogField Service/Dao的切入方法 配置产生日志的方法, 该方法通常变更了对应BO的数据 OpLogJoinPoint, OpLogParam, OpLogID Spring配置 支持xml方式和springboot方式配置; 如果是xml, 仅需要最少8行配置代码 参考Spring配置配置 Handler类 方法执行完毕后, 日志如果需要写入DB, 则需要在这里实现 实现对应BO Model bean的IOpLogHandler接口 下面我们一步步地介绍如何实现 Bean注释 对于需要生成操作日志的BO类, OpLog4j要求必需有且仅有一个ID做为主键, 目前暂时不支持复合主键的类; 特别地, 对于特定的组合bean, 也可以通过巧妙的配置达到生成操作日志的功能, 但这类组合bean也需要满足这样的要求: 能够由一个ID为主键从存储介质中加载. Bean 注释的类是OpLogModel与OpLogField, 分别作用于类与属性上. OpLogModel 这个annotation 的作用域是ElementType.TYPE 属性 说明 daoBeanId Spring中定义的DAO bean ID method 如com.xxx.dao.UserBODao.getById(Long id), 则method应该取值: "getById" 通过上面两个配置, 我们就可以从Spring中获取得到一个BO(Business Object)对应DAO的getById方法. 这个方法在生成操作日志时获取"变更前对象"和"变更后对象"起到了重要的作用. OpLogField 这个annotation 的作用域是ElementType.FIELD 我们直接给出一个例子: import java.math.BigDecimal; import java.util.Date; import com.github.djbing85.annotation.OpLogField; import com.github.djbing85.annotation.OpLogModel; //BO类注释, 注意代码中一定要有对应的com.xxx.dao.UserBODao.getById(Long id)方法 @OpLogModel(daoBeanId = "userBODao", method = "getById") public class UserBO { //如果有自定义的构造方法, 那么请一定补充一个默认构造方法, 否则会报异常导致无法生成操作日志 public UserBO() {} //id = 0表示这是主键的第0个参数, 目前只支持一个属性做主键, 复合主键功能尚不支持; //fieldName是属性的名称, 如果有国际化的需求, 需要注意这里 @OpLogField(id = 0, fieldName = "User ID") private Long userId; //fieldName为""或者null时, 会直接使用fieldName = "userName" @OpLogField(fieldName = "User Name") private String userName; //DB中type的取值是p/e, 分别表示Personal/Enterprise, fieldMapping则是一个JSON, 在生成对比的变化内容时, 会把p/e转换成可读性更好的Personal/Enterprise. @OpLogField(fieldName = "User Type", fieldMapping = "{\"p\":\"Personal\", \"e\":\"Enterprise\"}") private String type; //isSensitive表示这是一个敏感字段, 需要把内容转换成**, 即审查人员也是不能看到具体内容的; @See OpLogSensitiveTypeEnum 查看更多细节 @OpLogField(fieldName = "Password", isSensitive = true) private String pswd; //日期格式化支持Date/Calendar/LocalDate/LocalTime/LocalDateTime, 注意格式化失败时会直接输出createTime.toString() @OpLogField(fieldName = "Create Time", dateFormat = "yyyy-MM-dd HH:mm:ss") private Date createTime; //这里的fieldMapping对Integer进行了转换 @OpLogField(fieldName = "Status", fieldMapping = "{0:\"Disable\", 1:\"Enable\"}") private Integer status; @OpLogField(fieldName = "Audit Status", fieldMapping = "{1:\"PENDING\", 2:\"PASS\", 3:\"REJECT\"}") private Integer auditStatus; //金额的格式化 @OpLogField(fieldName = "Balance", decimalFormat = "#,###.##") private BigDecimal balance; //标注了ignore的field不会进行内容比对. @OpLogField(ignore = true) private String ignoreField; //getter and setter ... //我们建议非性能关键的BO都写一个toString()方法, 方便在调试代码时查看BO的值 @Override public String toString() { StringBuilder builder = new StringBuilder(); builder.append("UserBO [userId="); builder.append(userId); ... builder.append("]"); return builder.toString(); } } 对应着上面的例子, 下面是更详细的配置说明 属性 说明 例值 id 默认-1:非主键. 主键上标注: [id = 0], 暂时不支持复合主键 id = 0 fieldName 属性的名称 User Name fieldMapping json字符串, 会把属性值做key, 转换成对应的value输出; 注意从map中取出的value为null时, 不会进行转换. {"0": "disabled", "1": "enabled"} ignore 默认false, 为true的field在对比时会被忽略 false isSensitive 默认false, 为true时会按maskPattern的策略对内容进行隐藏, 默认maskPattern = OpLogSensitiveTypeEnum.MASK_MIDDLE, 如内容为12345678, 则处理后的内容为12**78 false maskPattern 目前支持隐藏策略为: 隐藏前缀/后缀/中间/两边/全部, 默认隐藏全部. 详情见附表1 OpLogSensitiveTypeEnum.MASK_MIDDLE dateFormat 支持基本的日期类, 详情见附表2. 取值要与field匹配, 否则会导致日期格式化异常 yyyy-MM-dd HH:mm:ss decimalFormat 数字的格式化, 支持Double/Float/Long/Integer/BigDecimal, 为""或null时不会对数字进行格式化 #,###.## 附表1 dateFormat支持的日期类型 java.util.Date java.util.Calendar java.time.LocalDate java.time.LocalTime java.time.LocalDateTime 注意dateFormat取值要与field匹配, 避免出现日期格式化失败的情况 附表2 maskPattern支持的隐藏策略 策略 OpLogSensitiveTypeEnum.MASK_PREFIX 隐藏前缀 OpLogSensitiveTypeEnum.MASK_SUBFIX 隐藏后缀 OpLogSensitiveTypeEnum.MASK_MIDDLE 隐藏中间 OpLogSensitiveTypeEnum.MASK_2SIDES 隐藏两边 OpLogSensitiveTypeEnum.MASK_ALL 默认隐藏全部 切入方法 OpLogJoinPoint 这个annotation 的作用域是ElementType.TYPE 当前版本尚不支持重复注释同一方法 属性 说明 例值 summary 方法简要说明 如: 新增用户 operator 操作人, 使用EL表达式读取参数列表中的某个参数作为操作人, 如方法是void updatePassword(UserBO user), 当配置了operator = "user.userName"时, 操作人就会取参数中user.getUserName(), 赋值到最后生成的操作日志类DefaultOpLog.operator中 "user.userName" modelClass 指定与方法关联的BO类, 必须与OpLogID联合使用. 示例 UserBO.class useReturn 如果方法编辑并返回了操作后的BO实例, 那么应该set userReturn = true, 可以减少一次DB的读操作 默认false OpLogParam 这个annotation 的作用域是ElementType.PARAMETER 属性 说明 例值 isLoaded 为true时表示方法的pre-BO直接使用被标注的对象, 为false时pre-BO则需要按对象中配置的DAO bean与主键从DB中加载 默认false OpLogID 这个annotation 的作用域是ElementType.PARAMETER 属性 说明 例值 order 预留字段. 当前版本不支持复合主键, 请不要配置该属性 default 0 示例 //summary描述了方法的操作摘要, //operator指定了操作人, 这里会直接取参数中operator的值 //OpLogParam(isLoaded = true) 表示pre-BO可以直接使用被标注的参数UserBO bo, 从而减少一次DB读操作 @OpLogJoinPoint(summary = "update user info", operator = "operator") public UserBO updateIsLoaded(@OpLogParam(isLoaded = true)UserBO bo, String operator) { Assert.notNull(bo); Assert.notNull(bo.getUserId()); db.put(bo.getUserId(), bo); return bo; } //modelClass与@OpLogID搭配使用, 在方法执行前后, 会自动读取updateNameById前后的对象, 并生成操作日志 //注意UserBO中需要有一个id字段(名称可以不一样), 类型要与这里的Long id匹配. @OpLogJoinPoint(summary = "update user name", modelClass = UserBO.class) public void updateNameById(@OpLogID Long id, String name) { Assert.notNull(id); UserBO bo = db.get(id); Assert.notNull(bo); bo.setUserName(name); db.put(id, bo); } //useReturn=true表示可以直接使用方法返回的对象作为post-BO, 不需要重复读取DB. //注意这里可能有DB默认更新的字段无法反馈到操作日志中, 比如mysql中定义了ON UPDATE的字段, 使用时应该注意 @OpLogJoinPoint(summary = "update user balance", useReturn=true) public UserBO updateBalanceById(@OpLogID Long id, BigDecimal balance) { Assert.notNull(id); UserBO bo = db.get(id); Assert.notNull(bo); bo.setBalance(balance); db.put(id, bo); return bo; } modelClass选择机制 生产中很多代码可能在一个方法中对多个BO进行了修改, OpLog4j还不支持在一个方法中配置多个OpLogJoinPoint来生成多个BO的操作日志. 一个方法只能对一个BO产生操作日志, 运行时按以下顺序选择modelClass: 1. OpLogJoinPoint.modelClass配置的类, 通常与OpLogID搭配使用 2. OpLogJoinPoint.useReturnValue = true时尝试使用方法返回对象的class 3. OpLogParam注释参数的class 4. 参数中第一个类型是被OpLogModel注释类的class Spring配置 支持xml与springboot方式的配置 注意源代码中xml与springboot的测试代码使用了不同的BO xml方式 <!-- aop config --> <aop:aspectj-autoproxy proxy-target-class="true"/> <!-- 输出操作日志的handler, 需要实现IOpLogHandler接口 --> <bean id="userOpLogHandler" class="com.github.djbing85.test.xml.aop.handler.UserOpLogHandler"/> <!-- handler列表, 可以有多个 --> <util:list id="opLogHandlers"> <ref bean="userOpLogHandler" /> </util:list> <!-- 默认操作日志处理类. 有需要修改操作日志的diff输出时, 可以继承AbstractOpLogAOPInterceptor, 实现自己想要的输出格式 --> <bean id="defaultOpAOPInterceptor" class="com.github.djbing85.aop.DefaultOpLogAOPInterceptor"> <property name="handlers" ref="opLogHandlers" /> </bean> <!-- JSON格式的操作日志处理类. --> <!-- <bean id="jsonDiffOpAOPInterceptor" class="com.github.djbing85.aop.JsonDiffOpLogAOPInterceptor"> <property name="handlers" ref="opLogHandlers" /> </bean> --> springboot方式 //定义handler, 注意需要实现IOpLogHandler接口 @Bean public IOpLogHandler commodityOpLogHandler() { CommodityOpLogHandler h = new CommodityOpLogHandler(); return h; } //定义handler @Bean public IOpLogHandler couponOpLogHandler() { CouponOpLogHandler h = new CouponOpLogHandler(); return h; } //定义handler @Bean public IOpLogHandler orderChangeOpLogHandler() { OrderChangeOpLogHandler h = new OrderChangeOpLogHandler(); return h; } //定义handler @Bean public IOpLogHandler orderOpLogHandler() { OrderOpLogHandler h = new OrderOpLogHandler(); return h; } //定义handler list @Bean public List<IOpLogHandler> opLogHandlerList() { List<IOpLogHandler> list = new ArrayList<>(); list.add(commodityOpLogHandler()); list.add(couponOpLogHandler()); list.add(orderChangeOpLogHandler()); list.add(orderOpLogHandler()); return list; } // 定义DefaultOpLogAOPInterceptor, 注入handler list @Bean public DefaultOpLogAOPInterceptor defaultOpAOPInterceptor() { DefaultOpLogAOPInterceptor defaultOpAOPInterceptor = new DefaultOpLogAOPInterceptor(); defaultOpAOPInterceptor.setHandlers(opLogHandlerList()); return defaultOpAOPInterceptor; } //json格式的操作日志拦截器 //@Bean //public JsonDiffOpLogAOPInterceptor jsonDiffOpAOPInterceptor() { // JsonDiffOpLogAOPInterceptor jsonDiffOpAOPInterceptor = new JsonDiffOpLogAOPInterceptor(); // jsonDiffOpAOPInterceptor.setHandlers(opLogHandlerList()); // return jsonDiffOpAOPInterceptor; //} IOpLogHandler接口 IOpLogHandler是输出操作日志的地方, 通常可以在这里对操作日志做进一步的加工, 然后保存到DB中 import com.github.djbing85.aop.handler.IOpLogHandler; import com.github.djbing85.model.DefaultOpLog; import com.github.djbing85.test.springboot.model.UserOrder; public class OrderOpLogHandler implements IOpLogHandler<UserOrder> { // 指定操作日志的class @Override public Class<UserOrder> getModelClass() { return UserOrder.class; } @Override public void handleDiff(DefaultOpLog<UserOrder> log) { System.out.println("summary: " + log.getSummary()); System.out.println("operator: " + log.getOperator()); System.out.println("pre: " + log.getPre()); System.out.println("post: " + log.getPost()); System.out.println("diff: " + log.getDiff()); System.out.println("opTime: " + log.getOpTime()); System.out.println("opType: " + log.getOpType()); System.out.println("modelClass: " + log.getModelClass()); } } DefaultOpLogAOPInterceptor 这里给出一例源码中IOpLogHandler.handleDiff的输出如下: summary: Order Change operator: null pre: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":200,"priceDouble":200.0,"priceFloat":200.0,"priceInt":200,"priceLong":200},"coupon":{"discountDesc":"20.00%","discountInt":2000,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599492382991,"date":"2020-09-07","dateTime":"2020-09-07T23:26:22.991","orderId":2,"time":"23:26:22.991","totalPrice":200,"userId":2},"orderId":2} post: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":543,"priceDouble":543.0,"priceFloat":543.0,"priceInt":543,"priceLong":543},"coupon":{"discountDesc":"6.67%","discountInt":667,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599492382991,"date":"2020-09-07","dateTime":"2020-09-07T23:26:22.991","orderId":2,"time":"23:26:22.991","totalPrice":1111,"userId":2},"orderId":2} diff: Order: Total Price: 200 --> 1,111 Commodity: Price in Float: $200 --> $543 Price in Double: $200 --> $543 Price in BigDecimal: $200 --> $543 Price in Long: $200 --> $543 Price in Integer: $200 --> $543 Coupon: Discount: 20.00% --> 6.67% opTime: Tue Sep 08 11:05:01 CST 2020 opType: UPDATE modelClass: class com.github.djbing85.test.springboot.model.OrderChange JsonDiffOpLogAOPInterceptor 这里与DefaultOpLogAOPInterceptor不同的地方在于diff summary: Order Change operator: null pre: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":200,"priceDouble":200.0,"priceFloat":200.0,"priceInt":200,"priceLong":200},"coupon":{"discountDesc":"20.00%","discountInt":2000,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599621329343,"date":"2020-09-09","dateTime":"2020-09-09T11:15:29.343","orderId":3,"time":"11:15:29.343","totalPrice":500,"userId":2},"orderId":2} post: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":543,"priceDouble":543.0,"priceFloat":543.0,"priceInt":543,"priceLong":543},"coupon":{"discountDesc":"6.67%","discountInt":667,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599621329343,"date":"2020-09-09","dateTime":"2020-09-09T11:15:29.343","orderId":3,"time":"11:15:29.343","totalPrice":1111,"userId":2},"orderId":2} diff: [{"fieldName":"Order","subModelDiffList":[{"fieldName":"Total Price","from":"\"500\"","to":"\"1,111\""}]},{"fieldName":"Commodity","subModelDiffList":[{"fieldName":"Price in Float","from":"\"$200\"","to":"\"$543\""},{"fieldName":"Price in Double","from":"\"$200\"","to":"\"$543\""},{"fieldName":"Price in BigDecimal","from":"\"$200\"","to":"\"$543\""},{"fieldName":"Price in Long","from":"\"$200\"","to":"\"$543\""},{"fieldName":"Price in Integer","from":"\"$200\"","to":"\"$543\""}]},{"fieldName":"Coupon","subModelDiffList":[{"fieldName":"Discount","from":"\"20.00%\"","to":"\"6.67%\""}]}] opTime: Wed Sep 09 11:15:29 CST 2020 opType: UPDATE modelClass: class com.github.djbing85.test.springboot.model.OrderChange DefaultOpLog操作日志 如上一小节的IOpLogHandler.handleDiff输出, 就是一个DefaultOpLog, 我们来看一下它都有哪些属性 字段 说明 相关配置项 summary 方法简要描述 OpLogJoinPoint.summary operator 操作人 OpLogJoinPoint.operator pre 操作前值 OpLogJoinPoint方法针对的BO实例, 参考modelClass选择机制 post 操作后值 OpLogJoinPoint方法针对的BO实例, 参考modelClass选择机制 diff 差异 在com.github.djbing85.aop.AbstructOpLogAOPInterceptor.getModelDiff(Class<BO>, Object, Object)方法中生成; 在IOpLogHandler.handleDiff中输出 opTime 操作时间 java.util.Date实例 opType 操作类型 根据pre/post是否为null, 分为CREATE/UPDATE/DELETE三大类 modelClass 操作类 操作日志的BO类, 参考modelClass选择机制 注意事项 自定义constructor 如果BO有自定义constructor, 需要写一个默认constructor. 记录IP 有一些项目要求记录操作者的IP地址, 这一类需求也是可以满足的, 可以把IP与操作人按一定的格式写入OpLogJoinPoint.operator所标注的参数中, 在输出日志时分离两项, 分别保存即可. //service保存方法 @OpLogJoinPoint(summary = "保存订单", operator = "ext") public orderSave(UserOrder order, String ext) { //保存 ... } ... //controller某个方法 public testOp() { String operator = "Admin"; String ip = "127.0.0.1"; //order change UserOrder order = loadOrder(1L); order.setTotalPrice(new BigDecimal(1234)); //IP与操作人都写在保存方法的ext字段中 orderSave(order, operator + "@@@" + ip); } ... //IOpLogHandler.handleDiff public void handleDiff(DefaultOpLog<UserOrder> log) { String [] strArray = log.getOperator().split("@@@"); System.out.println("operator: " + strArray[0]); System.out.println("ip: " + strArray[1]); ... } 类似地, 一些其它的信息也可以通过同样的方法传递到最终的操作日志中来 组合bean生成操作日志 组合bean必需可以由唯一的一个ID加载, 且需要自己在handler中处理List类型的属性 示例如下: //use lombok @Data @OpLogModel(daoBeanId = "orderChangeService", method = "orderDetail") public class OrderChange { //唯一ID @OpLogField(id = 0, fieldName = "Order ID") private Long orderId; //组合属性如下 //注意不要添加除fieldName外的其它属性 @OpLogField(fieldName = "Order") private UserOrder order; //注意不要添加除fieldName外的其它属性 @OpLogField(fieldName = "Commodity") private Commodity commodity; //注意不要添加除fieldName外的其它属性 @OpLogField(fieldName = "Coupon") private Coupon coupon; } ////////////////////////// //OrderChangeService是OrderChange的service实现类 @Service public class OrderChangeService { ... //这个方法修改了OrderChange内部几个组合bean的属性 @OpLogJoinPoint(summary = "Order Change", useReturn = true) public OrderChange orderChange(OrderChange change) { orderDao.updateTotalPrice(change.getOrderId(), change.getOrder().getTotalPrice()); commodityDao.updatePrice(change.getCommodity().getId(), change.getCommodity().getPriceBigDecimal()); couponDao.updateDiscount(change.getCoupon().getId(), change.getCoupon().getDiscountInt()); return orderDetail(change.getOrderId()); } //按orderId返回OrderChange, 用于生成操作日志时加载pre-BO与post-BO public OrderChange orderDetail(Long orderId) { UserOrder order = orderDao.getById(orderId); Coupon coupon = couponDao.getById(order.getCouponId()); Commodity commodity = commodityDao.getById(order.getCommodityId()); OrderChange change = new OrderChange(); change.setOrderId(orderId); UserOrder order2 = new UserOrder(); BeanUtils.copyProperties(order, order2); Coupon coupon2 = new Coupon(); BeanUtils.copyProperties(coupon, coupon2); Commodity commodity2 = new Commodity(); BeanUtils.copyProperties(commodity, commodity2); change.setOrder(order2); change.setCoupon(coupon2); change.setCommodity(commodity2); return change; } } ////////////////////////// //单元测试 @Test public void orderChange() { //从DB中读取数据 OrderChange change = orderService.orderDetail(2L); //修改数据 change.getOrder().setTotalPrice(new BigDecimal(1111)); change.getCommodity().setPriceBigDecimal(new BigDecimal(543)); change.getCoupon().setDiscountInt(667); //保存数据, 完成后OpLog4j会生成操作日志 orderService.orderChange(change); } ////////////////////测试输出 summary: Order Change operator: null pre: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":200,"priceDouble":200.0,"priceFloat":200.0,"priceInt":200,"priceLong":200},"coupon":{"discountDesc":"20.00%","discountInt":2000,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599534380355,"date":"2020-09-08","dateTime":"2020-09-08T11:06:20.355","orderId":3,"time":"11:06:20.355","totalPrice":500,"userId":2},"orderId":2} post: {"commodity":{"id":2,"img":"http://www.abc.org/path2/to/img.jpg","name":"hydrogen peroxide solution","priceBigDecimal":543,"priceDouble":543.0,"priceFloat":543.0,"priceInt":543,"priceLong":543},"coupon":{"discountDesc":"6.67%","discountInt":667,"id":2,"name":"50% OFF","priceDouble":200.0},"order":{"commodityId":2,"couponId":2,"createdTime":1599534380355,"date":"2020-09-08","dateTime":"2020-09-08T11:06:20.355","orderId":3,"time":"11:06:20.355","totalPrice":1111,"userId":2},"orderId":2} diff: Order: Total Price: 500 --> 1,111 Commodity: Price in Float: $200 --> $543 Price in Double: $200 --> $543 Price in BigDecimal: $200 --> $543 Price in Long: $200 --> $543 Price in Integer: $200 --> $543 Coupon: Discount: 20.00% --> 6.67% opTime: Tue Sep 08 11:06:20 CST 2020 opType: UPDATE modelClass: class com.github.djbing85.test.springboot.model.OrderChange 在测试的输出结果中的diff部分, 我们可以看到, orderChange.order.totalPrice等等几个内部bean的变更被如实地记录了下来. Collection属性 当前版本的OpLog4j尚不支持Collection属性的变更, 有这部分需求的开发者需要自行比较pre/post中的list对象, 参考IOpLogHandler接口 国际化 OpLog4j支持对fieldName和summary进行国际化 需要在输出的diff中实现国际化的开发者, 需要额外进行以下代码配置: OpLog4j的配置中使用JsonDiffOpLogAOPInterceptor 配置国际化拦截器 源码里国际化工具类使用了OpLog4jMessageUtils, 而通常你应该使用自己的国际化工具类实现同样的功能. @Configuration public class I18nConf { /** * default LocaleResolver */ @Bean public LocaleResolver localeResolver() { SessionLocaleResolver localeResolver = new SessionLocaleResolver(); localeResolver.setDefaultLocale(Locale.US); return localeResolver; } /** * localeInterceptor, "lang" is the parameter name */ @Bean public WebMvcConfigurer localeInterceptor() { return new WebMvcConfigurer() { @Override public void addInterceptors(InterceptorRegistry registry) { LocaleChangeInterceptor localeInterceptor = new LocaleChangeInterceptor(); localeInterceptor.setParamName("lang"); registry.addInterceptor(localeInterceptor); } }; } //如果你已经有一个ResourceBundleMessageSource, 那么在OpLog4jMessageUtils中直接使用即可, 不需要重复定义这个bean @Bean public ResourceBundleMessageSource messageSource() { Locale.setDefault(Locale.CHINESE); ResourceBundleMessageSource source = new ResourceBundleMessageSource(); source.setBasenames("i18n/messages/messages");// path and name of the resource bundle source.setUseCodeAsDefaultMessage(true); source.setDefaultEncoding("UTF-8"); return source; } //定义一个国际化工具类 @Bean public OpLog4jMessageUtils opLog4jMessageUtils() { return new OpLog4jMessageUtils(messageSource()); } } 给每个model配置对应语言的messages.properties 如源码中: /oplog4j/src/test/resources/i18n/messages/messages_zh_CN.properties coupon.diff=差异 coupon.discount=折扣 total.price=总价 /oplog4j/src/test/resources/i18n/messages/messages_en_US.properties coupon.diff=DIff coupon.discount=Discount total.price=Total Price 配置OpLogField中的fieldName 配置成messages.properties中对应的国际化配置项, 如: //原来的配置 //@OpLogField(fieldName = "Total Price", decimalFormat = "#,###.##") //国际化的fieldName配置 @OpLogField(fieldName = "total.price", decimalFormat = "#,###.##") private BigDecimal totalPrice; 运行WEB 如在Eclipse中, 打开源码的com.github.djbing85.test.springboot.OpLog4jApplication, 右键Run As --> 1 Java Application 访问http://127.0.0.1:8080/i18nTest?lang=en_US {"fieldName":"Coupon","subModelDiffList":[{"fieldName":"Discount","from":"\"20.00%\"","to":"\"6.67%\""}]} 访问<http://127.0.0.1:8080/i18nTest?lang=zh_CN {"fieldName":"Coupon","subModelDiffList":[{"fieldName":"折扣","from":"\"20.00%\"","to":"\"6.67%\""}]} 前端再根据需求显示即可.

优秀的个人博客,低调大师

微服务的断路器实现图解Golang通用版

断路器背景 微服务连锁故障场景 在分布式环境中,各个微服务相互调用,当某些情况下,比如后端中间件服务故障、第三方服务中断导致某个服务无限期不可用,短时间无法恢复,则可能会导致连锁故障,最终影响压垮整个业务集群 断路器与重试 断路器模式不同于重试模式,重试模式是使应用程序可以重试操作以期望它会成功,而断路器模式是防止应用程序执行一个可能失败的操作,减少执行可能失败操作的CPU、内存、线程等资源的浪费,从而保证服务的整体可用 断路器设计解析 基于代理模式的断路器 断路器相当于一个请求操作执行的代理,托管请求操作的执行 实现原理流程: 拦截服务执行的请求,通过当前状态决定是否直接返回,如果否则执行后续操作 尝试执行操作,并获取返回结果 根据返回结果和当前统计信息,决定当前断路器的状态,修改状态 返回执行结果 断路器状态机 断路器状态机实现上有三种状态:Closed(断路器关闭)、Open(开放)、HalfOpen(半开放) 状态 说明 备注 Closed 关闭 断路器关闭正常执行操作 Open 打开 断路器开放,所有请求直接返回错误,不执行任何请求 HalfOpen 半开放 允许有限数量的请求通过,如果执行成功,恢复到关闭状态,如果仍然失败,则恢复到开放,然后重新启动超时定时器 #断路器实现 实现原理图解 断路器实现实现主要分为三部分:状态统计、状态转移、请求执行 状态统计:统计已经执行的请求的成功失败的数量,以确定是否需要进行状态转移 状态转移:根据当前统计信息和当前状态来进行目标状态的确定及转移操作 请求执行:代理前端任务的执行,如果当前状态不需要进行尝试执行,就直接返回错误,避免资源浪费 Golang里面已经有开源的实现,https://github.com/sony/gobreaker/blob/, 接下来救市剖析它的实现 状态统计-计数器Counts Counts就是一个计数器,记录当前请求成功和失败的数量 type Counts struct { Requests uint32 // 请求数 TotalSuccesses uint32 // 成功 TotalFailures uint32 // 失败 ConsecutiveSuccesses uint32 // 连续成功 ConsecutiveFailures uint32 // 连续失败 } 计数器完成对应请求状态的次数,为后续状态转移提供数据, Counts提供了onRequest、onSuccess、onFailure、clear几个辅助接口用于实现对应请求状态的操作,感兴趣可以看下 状态机- CircuitBreaker type CircuitBreaker struct { name string // maxRequests限制half-open状态下最大的请求数,避免海量请求将在恢复过程中的服务再次失败 maxRequests uint32 // interval用于在closed状态下,断路器多久清除一次Counts信息,如果设置为0则在closed状态下不会清除Counts interval time.Duration // timeout进入open状态下,多长时间切换到half-open状态,默认60s timeout time.Duration // readyToTrip熔断条件,当执行失败后,会根据readyToTrip决定是否进入Open状态 readyToTrip func(counts Counts) bool // onStateChange断路器状态变更回调函数 onStateChange func(name string, from State, to State) mutex sync.Mutex //. state 断路器状态 state State // generation 是一个递增值,相当于当前断路器状态切换的次数, 为了避免状态切换后,未完成请求对新状态的统计的影响,如果发现一个请求的generation同当前的generation不同,则不会进行统计计数 generation uint64 // Counts 统计 counts Counts // expiry 超时过期用于open状态到half-open状态的切换,当超时后,会从open状态切换到half-open状态 expiry time.Time } 核心流程 CircuitBreaker.Execute 请求执行,对外开放的请求执行接口 func (cb *CircuitBreaker) Execute(req func() (interface{}, error)) (interface{}, error) { // 执行请求钩子,会根据当前状态,来返回当前的generation和err(如果位于open和half-open则不为nil), 通过err来进行判断是否直接返回 generation, err := cb.beforeRequest() if err != nil { return nil, err } // 捕获panic,避免应用函数错误造成断路器panic defer func() { e := recover() if e != nil { cb.afterRequest(generation, false) panic(e) } }() // 执行请求 result, err := req() // 根据结果来进行对应状态的统计, 同时传递generation cb.afterRequest(generation, err == nil) return result, err } CircuitBreaker.beforeRequest func (cb *CircuitBreaker) beforeRequest() (uint64, error) { cb.mutex.Lock() defer cb.mutex.Unlock() // 获取当前的状态 now := time.Now() state, generation := cb.currentState(now) // open和half-open状态则直接返回 if state == StateOpen { return generation, ErrOpenState } else if state == StateHalfOpen && cb.counts.Requests >= cb.maxRequests { // 避免海量请求对处于恢复服务的影响,这里有一个限流的操作,避免请求数超过最大请求数 return generation, ErrTooManyRequests } // 统计状态 cb.counts.onRequest() return generation, nil } CircuitBreaker.afterRequest func (cb *CircuitBreaker) afterRequest(before uint64, success bool) { cb.mutex.Lock() defer cb.mutex.Unlock() // 重新获取状态 now := time.Now() state, generation := cb.currentState(now) // 如果前后状态不一致,则不计数 if generation != before { return } // 根据状态计数 if success { cb.onSuccess(state, now) } else { cb.onFailure(state, now) } } CircuitBreaker.currentState func (cb *CircuitBreaker) currentState(now time.Time) (State, uint64) { switch cb.state { case StateClosed: // 如果当前当前是closed状态,并且有设置expiry,则递增Generation到新一轮统计计数 if !cb.expiry.IsZero() && cb.expiry.Before(now) { cb.toNewGeneration(now) } case StateOpen: // 如果是Open状态,并且超时,则尝试到半打开状态 if cb.expiry.Before(now) { cb.setState(StateHalfOpen, now) } } return cb.state, cb.generation } CircuitBreaker.toNewgeneration func (cb *CircuitBreaker) toNewGeneration(now time.Time) { // 递增generation, 清除状态 cb.generation++ cb.counts.clear() // 设置超时时间 var zero time.Time switch cb.state { case StateClosed: if cb.interval == 0 { cb.expiry = zero } else { cb.expiry = now.Add(cb.interval) } case StateOpen: cb.expiry = now.Add(cb.timeout) default: // StateHalfOpen cb.expiry = zero } } 总结 断路器黄金链路 beforeRequest :完成当前请求是否可以执行请求,状态超时切换,同时返回当前的genenration req: 执行请求 afterRequest: 完成请求状态统计,决定状态切换 断路器的优缺点 断路器比较适合针对远程服务或者第三方服务的调用,如果该操作极有可能会失败,则断路器可以尽可能的减小失败对应用的影响,避免资源浪费 但缺点也显而易见,断路器本身相当于一层代理,在应用程序执行进行统计和控制,本身就有一定的资源消耗,同时内部基于synx.Mutex锁来实现,高并发下肯定会有锁争用问题,可能需要根据业务来使用多个断路器,来分散这种锁争用,同时应该避免在断路器req函数内,去执行重试和过长时间的超时等待,因为断路器核心是快速失败 更多文章可以访问http://www.sreguide.com/

优秀的个人博客,低调大师

利用Vue构造器创建Form组件的通用解决方法

在前端平常的业务中,无论是官网、展示页还是后台运营系统都离不开表单,它承载了大部分的数据采集工作。所以如何更好地实现它,是平常工作中的一个重要问题。 在应用Vue框架去开发业务时,会将页面上每个独立的可视/可交互区域拆分为一个组件,再通过多个组件的自由组合来组成新的页面。例如 <template> <header></header> ... <content></content> ... <footer></footer> </template> 当用户的某个行为触发表单时(例如注册、建立内容等),期望在页面中弹出一个From组件。通常的做法是在template中填入一个<form>组件用于开发,并通过控制data中的UI.isOpen来对其display进行控制,例如在当前<template>组件内开发 <template> <header></header> ... <content></content> ... <footer></footer> ... <register-form v-if="UI.isOpen"> <form-item></form-item> ... <submit-button></submit-button> </register-form> </template> Form组件与其父组件之间可以通过prop以及$emit方便通信。但是也会有以下几个缺陷: 当前组件的data必须要有UI.isOpen来控制表单,如果存在多个表单时,就会有大量的状态来维护表单的开关; 如果表单多次弹出时,可能需要对表单的data进行重置; 与组件化思想相违背,表单不属于当前页面,它只是由于用户行为触发的结果。 为了解决以上缺陷,并且还能具备方便通信的优势,本文选择用Vue.extend将原有<form>组件转化为method function,并维护在当前组件的method中,当用户触发时,在页面中挂载,关闭时自动注销。 实例 APP组件 <template> <div id="app"> <el-button type="primary" icon="el-icon-edit-outline" @click="handleClick" >注册</el-button> </div> </template> <script> import register from './components/register' import { transform } from './transform' export default { name: 'App', methods: { register: transform(register), handleClick () { this.register({ propsData: { name: '皮鞋' }, done: name => alert(`${name}牛B`) })//欢迎加入前端全栈开发交流圈一起吹水聊天学习交流:864305860 } } } </script> 当<el-button>的点击事件触发时,调用register方法,将表单组件挂载在页面中。 Form组件 <template> <div class="mock" v-if="isVisible"> <div class="form-wrapper"> <i class="el-icon-close close-btn" @click.stop="close"></i> ...<header /> ...<content /> <div class="footer"> <el-button type="primary" @click="handleClick" >确定</el-button> <el-button type="primary" @click="handleClick" >取消</el-button> </div> </div> </div> </template> <script> export default { porps: { ... }, data () { return { isVisible: true } }, watch: { isVisible (newValue) { if (!newValue) { this.destroyElement() } } }, methods: { handleClick ({ type }) { const handler = { close: () => this.close() }//欢迎加入前端全栈开发交流圈一起吹水聊天学习交流:864305860 }, destroyElement () { this.$destroy() }, close () { this.isVisible = false } }, mounted () { document.body.appendChild(this.$el) }, destroyed () { this.$el.parentNode.removeChild(this.$el) }//欢迎加入前端全栈开发交流圈一起学习交流:864305860 } </script> 在APP组件内并未维护<form>组件的状态,其打开或关闭只维护在自身的data中。 原理 上述代码中,最为关键的一步就是transform函数,它将原有的`从single-file components转化为了method function,其原理如下 const transform = (component) => { const _constructor = Vue.extend(component) return function (options = {}) { const { propsData } = options let instance = new _constructor({ propsData }).$mount(document.createElement('div')) return instance }//欢迎加入前端全栈开发交流圈一起学习交流:864305860 } 首先利用Vue.extend(options)创建一个<Form/>组件的子类 const _constructor = Vue.extend(component) 然后return function,它的功能是: 将<form />组件转化为method 在method调用时,将组件实例化并传递propsData const { propsData } = options let instance = new _constructor({ propsData }).$mount(document.createElement('div')) 为了能够控制实例化后的组件,选择instance返回。 当组件实例化时,它只是挂载到document.createElement('div')上,但是并没有挂载到页面上,所以需要将其appendChild到页面中。为了更好的语义化,选择在组件的生命周期中完成它在页面中的挂载。实例化时,会触发组件mounted生命周期,所以当其触发时可以挂载在document.body中,具体如下 mounted () { document.body.appendChild(this.$el) } 有了挂载,就必须要有注销。对应的生命周期应该是destroyed,所以 method: { destroyElement () { this.$destroy() } //欢迎加入前端全栈开发交流圈一起学习交流:864305860 }, destroyed () { this.$el.parentNode.removeChild(this.$el) } 组件注销的时间与它在页面中显示息息相关,当<form />在页面中不可见时候,需要注销它 method: { destroyElement () { this.$destroy() } //欢迎加入前端全栈开发交流圈一起学习交流:864305860 }, destroyed () { this.$el.parentNode.removeChild(this.$el) } 一般Form组件有两个功能: done:代表用户确认; cancel:代表用户取消; 当done或cancel触发时,APP组件内可能会有相应的变化,所以在组件实例化之后,利用$on去监听对应的done事件以及cancel事件。 done && inlineListen({ method: 'done', options, instance })//欢迎加入前端全栈开发交流圈一起吹水聊天学习交流:864305860 cancel && inlineListen({ method: 'cancel', options, instance }) 其中inlineListen函数可以方便后续添加其他的event,其代码为 const inlineListen = ({ method, options, instance }) => { let listener = `on${method}` instance[listener] = options[method] instance.$on(method, function (data) { this[listener](data) }) } 也可以将上述方案封装成Promise形式,如下 export const transform = (component) => { const _constructor = Vue.extend(component) return function (options = {}) { const { propsData } = options return new Promise((resolve, reject) => { let instance = new _constructor({ propsData }).$mount(document.createElement('div')) instance.$on('done', data => resolve(data)) })//欢迎加入前端全栈开发交流圈一起学习交流:864305860 } }//帮助突破技术瓶颈,提升思维能力 使用 可以将上述属于<Form/>公有的data以及method独立出来,再通过mixins引入到每个表单内,例如 export default { data() { return { visible: true } }, watch: { visible(newValue) { if (!newValue) { this.destroyElement() } } }, mounted() { document.body.appendChild(this.$el) }, destroyed() { this.$el.parentNode.removeChild(this.$el) }, methods: { destroyElement() { this.$destroy() }, close() { this.visible = false }//欢迎加入前端全栈开发交流圈一起学习交流:864305860 }//面向1-3年前端人员 }//帮助突破技术瓶颈,提升思维能力 再通过mixins混入。 <script> import popupWin from '../mixins/popup-win' export default { mixins: [popupWin], data () { return { input: '', gender: 1 } }, methods: { handleClick ({ type }) { const handler = { close: () => this.close(), confirm: () => { const { input } = this this.$emit('done', input) }//欢迎加入前端全栈开发交流圈一起学习交流:864305860 } }//面向1-3年前端人员 } }//帮助突破技术瓶颈,提升思维能力 </script> 调用时,只需 export default { name: 'App', methods: { register: transform(register), handleClick () { this.register({ propsData: { ... }, // done: data => function done () { // 外部关闭 this.close() }//欢迎加入前端全栈开发交流圈一起学习交流:864305860 }) }//面向1-3年前端人员 } }//帮助突破技术瓶颈,提升思维能力 PS:如果业务场景需要,在外部控制表单的关闭时,只需要改变done function的context,也就是this指针指向<Form/>。 总结 通过上述的transform函数,将原有的注入式组件转化为了命令式,简化了页面状态的维护,在通过mixins混入公有data以及method,简化了表单组件开发。上述方法也可用于开发toast、alert、confirm等组件,只需要将 Vue.prototype.method = transform(Toast-Component) 结语 感谢您的观看,如有不足之处,欢迎批评指正。

优秀的个人博客,低调大师

OpenStack 通用设计思路 - 每天5分钟玩转 OpenStack(25)

API 前端服务 每个 OpenStack 组件可能包含若干子服务,其中必定有一个 API 服务负责接收客户请求。 以 Nova 为例,nova-api 作为 Nova 组件对外的唯一窗口,向客户暴露 Nova 能够提供的功能。 当客户需要执行虚机相关的操作,能且只能向 nova-api 发送 REST 请求。 这里的客户包括终端用户、命令行和 OpenStack 其他组件。 设计 API 前端服务的好处在于: 1. 对外提供统一接口,隐藏实现细节 2. API 提供 REST 标准调用服务,便于与第三方系统集成 3. 可以通过运行多个 API 服务实例轻松实现 API 的高可用,比如运行多个 nova-api 进程 Scheduler 调度服务 对于某项操作,如果有多个实体都能够完成任务,那么通常会有一个 scheduler 负责从这些实体中挑选出一个最合适的来执行操作。 在前面的例子中,Nova 有多个计算节点。 当需要创建虚机时,nova-scheduler 会根据计算节点当时的资源使用情况选择一个最合适的计算节点来运行虚机。 调度服务就好比是一个开发团队中的项目经理,当接到新的开发任务时,项目经理会评估任务的难度,考察团队成员目前的工作负荷和技能水平,然后将任务分配给最合适的开发人员。 除了 Nova,块服务组件 Cinder 也有 scheduler 子服务,后面我们会详细讨论。 Worker 工作服务 调度服务只管分配任务,真正执行任务的是 Worker 工作服务。 在 Nova 中,这个 Worker 就是 nova-compute 了。 将 Scheduler 和 Worker 从职能上进行划分使得 OpenStack 非常容易扩展: 当计算资源不够了无法创建虚机时,可以增加计算节点(增加 Worker) 当客户的请求量太大调度不过来时,可以增加 Scheduler Driver 框架 OpenStack 作为开放的 Infrastracture as a Service 云操作系统,支持业界各种优秀的技术。 这些技术可能是开源免费的,也可能是商业收费的。 这种开放的架构使得 OpenStack 能够在技术上保持先进性,具有很强的竞争力,同时又不会造成厂商锁定(Lock-in)。 那 OpenStack 的这种开放性体现在哪里呢? 一个重要的方面就是采用基于 Driver 的框架。 以 Nova 为例,OpenStack 的计算节点支持多种 Hypervisor。 包括 KVM, Hyper-V, VMWare, Xen, Docker, LXC 等。 Nova-compute 为这些 Hypervisor 定义了统一的接口,hypervisor 只需要实现这些接口,就可以 driver 的形式即插即用到 OpenStack 中。 下面是 nova driver 的架构示意图 在 nova-compute 的配置文件 /etc/nova/nova.conf 中由 compute_driver 配置项指定该计算节点使用哪种 Hypervisor 的 driver 在我们的环境中因为是 KVM,所以配置的是 Libvirt 的 driver。 不知大家是否还记得我们在学习 Glance 时谈到: OpenStack 支持多种 backend 来存放 image。 可以是本地文件系统,Cinder,Ceph,Swift 等。 其实这也是一个 driver 架构。 只要符合 Glance 定义的规范,新的存储方式可以很方便的加入到 backend 支持列表中。 再后面 Cinder 和 Neutron 中我们还会看到 driver 框架的应用。 Messaging 服务 在前面创建虚机的流程示意图中,我们看到 nova-* 子服务之间的调用严重依赖 Messaging。 Messaging 是 nova-* 子服务交互的中枢。 以前没接触过分布式系统的同学可能会不太理解为什么不让 API 直接调用Scheduler,或是让Scheuler 直接调用 Compute,而是非要通过 Messaging 进行中转。 这里做一些解释。 程序之间的调用通常分两种:同步调用和异步调用。 同步调用 API 直接调用 Scheduler 的接口就是同步调用。 其特点是 API 发出请求后需要一直等待,直到 Scheduler 完成对 Compute 的调度,将结果返回给 API 后 API 才能够继续做后面的工作。 异步调用 API 通过 Messaging 间接调用 Scheduler 就是异步调用。 其特点是 API 发出请求后不需要等待,直接返回,继续做后面的工作。 Scheduler 从 Messaging 接收到请求后执行调度操作,完成后将结果也通过 Messaging 发送给 API。 在 OpenStack 这类分布式系统中,通常采用异步调用的方式,其好处是: 解耦各子服务 子服务不需要知道其他服务在哪里运行,只需要发送消息给 Messaging 就能完成调用。 提高性能 异步调用使得调用者无需等待结果返回。这样可以继续执行更多的工作,提高系统总的吞吐量。 提高伸缩性 子服务可以根据需要进行扩展,启动更多的实例处理更多的请求,在提高可用性的同时也提高了整个系统的伸缩性。而且这种变化不会影响到其他子服务,也就是说变化对别人是透明的。 在后面各章节,我们都能看到 Messaging 的应用。 Database OpenStack 各组件都需要维护自己的状态信息。 比如 Nova 中有虚机的规格、状态,这些信息都是在数据库中维护的。 每个 OpenStack 组件在 MySQL 中有自己的数据库。 小结 Nova 是 OpenStack 中最重要的组件,也是很典型的组件。 Nova 充分体现了 OpenStack 的设计思路。 理解了这种思路,再来学习 OpenStack 的其他组件就能够举一反三,清晰容易很多。 我们在后面 Cinder 和 Neutron 的学习中还会回顾这些设计思路。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册