首页 文章 精选 留言 我的

精选列表

搜索[cloud],共10000篇文章
优秀的个人博客,低调大师

[Spring cloud 一步步实现广告系统] 16. 增量投送到kafka

实现增量数据索引 上一节中,我们为实现增量索引的加载做了充足的准备,使用到mysql-binlog-connector-java 开源组件来实现MySQL 的binlog监听,关于binlog的相关知识,大家可以自行网络查阅。或者可以mailto:magicianisaac@gmail.com 本节我们将根据binlog 的数据对象,来实现增量数据的处理,我们构建广告的增量数据,其实说白了就是为了在后期能把广告投放到索引服务,实现增量数据到增量索引的生成。Let's code. 定义一个投递增量数据的接口(接收参数为我们上一节定义的binlog日志的转换对象) /** * ISender for 投递增量数据 方法定义接口 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ public interface ISender { void sender(MysqlRowData rowData); } 创建增量索引监听器 /** * IncrementListener for 增量数据实现监听 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> * @since 2019/6/27 */ @Slf4j @Component public class IncrementListener implements Ilistener { private final AggregationListener aggregationListener; @Autowired public IncrementListener(AggregationListener aggregationListener) { this.aggregationListener = aggregationListener; } //根据名称选择要注入的投递方式 @Resource(name = "indexSender") private ISender sender; /** * 标注为 {@link PostConstruct}, * 即表示在服务启动,Bean完成初始化之后,立刻初始化 */ @Override @PostConstruct public void register() { log.info("IncrementListener register db and table info."); Constant.table2db.forEach((tb, db) -> aggregationListener.register(db, tb, this)); } @Override public void onEvent(BinlogRowData eventData) { TableTemplate table = eventData.getTableTemplate(); EventType eventType = eventData.getEventType(); //包装成最后需要投递的数据 MysqlRowData rowData = new MysqlRowData(); rowData.setTableName(table.getTableName()); rowData.setLevel(eventData.getTableTemplate().getLevel()); //将EventType转为OperationTypeEnum OperationTypeEnum operationType = OperationTypeEnum.convert(eventType); rowData.setOperationTypeEnum(operationType); //获取模版中该操作对应的字段列表 List<String> fieldList = table.getOpTypeFieldSetMap().get(operationType); if (null == fieldList) { log.warn("{} not support for {}.", operationType, table.getTableName()); return; } for (Map<String, String> afterMap : eventData.getAfter()) { Map<String, String> _afterMap = new HashMap<>(); for (Map.Entry<String, String> entry : afterMap.entrySet()) { String colName = entry.getKey(); String colValue = entry.getValue(); _afterMap.put(colName, colValue); } rowData.getFieldValueMap().add(_afterMap); } sender.sender(rowData); } } 开启binlog监听 首先来配置监听binlog的数据库连接信息 adconf: mysql: host: 127.0.0.1 port: 3306 username: root password: 12345678 binlogName: "" position: -1 # 从当前位置开始监听 编写配置类: /** * BinlogConfig for 定义监听Binlog的配置信息 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ @Component @ConfigurationProperties(prefix = "adconf.mysql") @Data @AllArgsConstructor @NoArgsConstructor public class BinlogConfig { private String host; private Integer port; private String username; private String password; private String binlogName; private Long position; } 在我们实现 监听binlog那节,我们实现了一个自定义client CustomBinlogClient,需要实现binlog的监听,这个监听的客户端就必须是一个独立运行的线程,并且要在程序启动的时候进行监听,我们来实现运行当前client的方式,这里我们会使用到一个新的Runnerorg.springframework.boot.CommandLineRunner,let's code. @Slf4j @Component public class BinlogRunner implements CommandLineRunner { @Autowired private CustomBinlogClient binlogClient; @Override public void run(String... args) throws Exception { log.info("BinlogRunner is running..."); binlogClient.connect(); } } 增量数据投递 在binlog监听的过程中,我们看到针对于int, String 这类数据字段,mysql的记录是没有问题的,但是针对于时间类型,它被格式化成了字符串类型:Fri Jun 21 15:07:53 CST 2019。 --------Insert----------- WriteRowsEventData{tableId=91, includedColumns={0, 1, 2, 3, 4, 5, 6, 7}, rows=[ [10, 11, ad unit test binlog, 1, 0, 1236.7655, Thu Jun 27 08:00:00 CST 2019, Thu Jun 27 08:00:00 CST 2019] --------Update----------- UpdateRowsEventData{tableId=81, includedColumnsBeforeUpdate={0, 1, 2, 3, 4, 5}, includedColumns={0, 1, 2, 3, 4, 5}, rows=[ {before=[10, Isaac Zhang, 2D3ABB6F2434109A105170FB21D00453, 0, Fri Jun 21 15:07:53 CST 2019, Fri Jun 21 15:07:53 CST 2019], after=[10, Isaac Zhang, 2D3ABB6F2434109A105170FB21D00453, 1, Fri Jun 21 15:07:53 CST 2019, Fri Jun 21 15:07:53 CST 2019]} 对于这个时间格式,我们需要关注2点信息: CST,这个时间格式会比我们的时间+ 8h(中国标准时间 China Standard Time UT+8:00) 需要对这个日期进行解释处理 当然,我们也可以通过设置mysql的日期格式来改变该行为,在此,我们通过编码来解析该时间格式: /** * Thu Jun 27 08:00:00 CST 2019 */ public static Date parseBinlogString2Date(String dateString) { try { DateFormat dateFormat = new SimpleDateFormat( "EEE MMM dd HH:mm:ss zzz yyyy", Locale.US ); return DateUtils.addHours(dateFormat.parse(dateString), -8); } catch (ParseException ex) { log.error("parseString2Date error:{}", dateString); return null; } } 因为我们在定义索引的时候,是根据表之间的层级关系(Level)来设定的,根据代码规范,不允许出现Magic Number, 因此我们定义一个数据层级枚举,来表达数据层级。 /** * AdDataLevel for 广告数据层级 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ @Getter public enum AdDataLevel { LEVEL2("2", "level 2"), LEVEL3("3", "level 3"), LEVEL4("4", "level 4"); private String level; private String desc; AdDataLevel(String level, String desc) { this.level = level; this.desc = desc; } } 实现数据投递 因为增量数据可以投递到不同的位置以及用途,我们之前实现了一个投递接口com.sxzhongf.ad.sender.ISender,接下来我们实现一个投递类: @Slf4j @Component("indexSender") public class IndexSender implements ISender { /** * 根据广告级别,投递Binlog数据 */ @Override public void sender(MysqlRowData rowData) { if (AdDataLevel.LEVEL2.getLevel().equals(rowData.getLevel())) { Level2RowData(rowData); } else if (AdDataLevel.LEVEL3.getLevel().equals(rowData.getLevel())) { Level3RowData(rowData); } else if (AdDataLevel.LEVEL4.getLevel().equals(rowData.getLevel())) { Level4RowData(rowData); } else { log.error("Binlog MysqlRowData error: {}", JSON.toJSONString(rowData)); } } private void Level2RowData(MysqlRowData rowData) { if (rowData.getTableName().equals(Constant.AD_PLAN_TABLE_INFO.TABLE_NAME)) { List<AdPlanTable> planTables = new ArrayList<>(); for (Map<String, String> fieldValueMap : rowData.getFieldValueMap()) { AdPlanTable planTable = new AdPlanTable(); //Map的第二种循环方式 fieldValueMap.forEach((k, v) -> { switch (k) { case Constant.AD_PLAN_TABLE_INFO.COLUMN_PLAN_ID: planTable.setPlanId(Long.valueOf(v)); break; case Constant.AD_PLAN_TABLE_INFO.COLUMN_USER_ID: planTable.setUserId(Long.valueOf(v)); break; case Constant.AD_PLAN_TABLE_INFO.COLUMN_PLAN_STATUS: planTable.setPlanStatus(Integer.valueOf(v)); break; case Constant.AD_PLAN_TABLE_INFO.COLUMN_START_DATE: planTable.setStartDate(CommonUtils.parseBinlogString2Date(v)); break; case Constant.AD_PLAN_TABLE_INFO.COLUMN_END_DATE: planTable.setEndDate(CommonUtils.parseBinlogString2Date(v)); break; } }); planTables.add(planTable); } //投递推广计划 planTables.forEach(p -> AdLevelDataHandler.handleLevel2Index(p, rowData.getOperationTypeEnum())); } else if (rowData.getTableName().equals(Constant.AD_CREATIVE_TABLE_INFO.TABLE_NAME)) { List<AdCreativeTable> creativeTables = new LinkedList<>(); rowData.getFieldValueMap().forEach(afterMap -> { AdCreativeTable creativeTable = new AdCreativeTable(); afterMap.forEach((k, v) -> { switch (k) { case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_CREATIVE_ID: creativeTable.setAdId(Long.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_TYPE: creativeTable.setType(Integer.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_MATERIAL_TYPE: creativeTable.setMaterialType(Integer.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_HEIGHT: creativeTable.setHeight(Integer.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_WIDTH: creativeTable.setWidth(Integer.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_AUDIT_STATUS: creativeTable.setAuditStatus(Integer.valueOf(v)); break; case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_URL: creativeTable.setAdUrl(v); break; } }); creativeTables.add(creativeTable); }); //投递广告创意 creativeTables.forEach(c -> AdLevelDataHandler.handleLevel2Index(c, rowData.getOperationTypeEnum())); } } private void Level3RowData(MysqlRowData rowData) { ... } /** * 处理4级广告 */ private void Level4RowData(MysqlRowData rowData) { ... } } 投放增量数据到MQ(kafka) 为了我们的数据投放更加灵活,方便数据统计,分析等系统的需求,我们来实现一个投放到消息中的接口,其他服务可以订阅当前MQ 的TOPIC来实现数据订阅。 配置文件中配置TOPIC adconf: kafka: topic: ad-search-mysql-data -------------------------------------- /** * KafkaSender for 投递Binlog增量数据到kafka消息队列 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> * @since 2019/7/1 */ @Component(value = "kafkaSender") public class KafkaSender implements ISender { @Value("${adconf.kafka.topic}") private String topic; @Autowired private KafkaTemplate kafkaTemplate; /** * 发送数据到kafka队列 */ @Override public void sender(MysqlRowData rowData) { kafkaTemplate.send( topic, JSON.toJSONString(rowData) ); } /** * 测试消费kafka消息 */ @KafkaListener(topics = {"ad-search-mysql-data"}, groupId = "ad-search") public void processMysqlRowData(ConsumerRecord<?, ?> record) { Optional<?> kafkaMsg = Optional.ofNullable(record.value()); if (kafkaMsg.isPresent()) { Object message = kafkaMsg.get(); MysqlRowData rowData = JSON.parseObject( message.toString(), MysqlRowData.class ); System.out.println("kafka process MysqlRowData: " + JSON.toJSONString(rowData)); //sender.sender(); } } }

优秀的个人博客,低调大师

[Spring cloud 一步步实现广告系统] 13. 索引服务编码实现

上一节我们分析了广告索引的维护有2种,全量索引加载和增量索引维护。因为广告检索是广告系统中最为重要的环节,大家一定要认真理解我们索引设计的思路,接下来我们来编码实现索引维护功能。 我们来定义一个接口,来接收所有index的增删改查操作,接口定义一个范型,来接收2个参数,K代表我们索引的健值,V代表返回值。 /** * IIndexAware for 实现广告索引的增删改查 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ public interface IIndexAware<K, V> { /** * 通过key 获取索引 */ V get(K key); /** * 添加索引 * @param key * @param value */ void add(K key, V value); /** * 更新索引 */ void update(K key, V value); /** * 删除索引 */ void delete(K key, V value); } 我们一定要知道,并不是所有的数据库表都需要创建索引,比如User表我们在数据检索的时候其实是不需要的,当然也就没必要创建索引,并且,也不是表中的所有字段都需要索引,这个也是根据具体的业务来确定字段信息,比如我们接下来要编写的推广计划索引中,推广计划名称就可以不需要。下面,我们来实现我们的第一个正向索引。 首先创建操作推广计划的实体对象 /** * AdPlanIndexObject for 推广计划索引对象 * 这个索引对象我们没有添加 推广计划名称 * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ @Data @NoArgsConstructor @AllArgsConstructor public class AdPlanIndexObject { private Long planId; private Long userId; private Integer planStatus; private Date startDate; private Date endDate; /** * 根据实际字段来更新索引 */ public void update(AdPlanIndexObject newObject) { if (null != newObject.getPlanId()) { this.planId = newObject.getPlanId(); } if (null != newObject.getUserId()) { this.userId = newObject.getUserId(); } if (null != newObject.getPlanStatus()) { this.planStatus = newObject.getPlanStatus(); } if (null != newObject.getStartDate()) { this.startDate = newObject.getStartDate(); } if (null != newObject.getEndDate()) { this.endDate = newObject.getEndDate(); } } } 然后创建推广计划索引实现类,并实现IIndexAware接口。 /** * AdPlanIndexAwareImpl for 推广计划索引实现类 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ @Slf4j @Component public class AdPlanIndexAwareImpl implements IIndexAware<Long, AdPlanIndexObject> { private static Map<Long, AdPlanIndexObject> planIndexObjectMap; /** * 因为操作索引的过程中有可能对索引进行更新,为了防止多线程造成的线程不安全问题,我们不能使用hashmap,需要实现ConcurrentHashMap */ static { planIndexObjectMap = new ConcurrentHashMap<>(); } @Override public AdPlanIndexObject get(Long key) { return planIndexObjectMap.get(key); } @Override public void add(Long key, AdPlanIndexObject value) { log.info("AdPlanIndexAwareImpl before add::{}", planIndexObjectMap); planIndexObjectMap.put(key, value); log.info("AdPlanIndexAwareImpl after add::{}", planIndexObjectMap); } @Override public void update(Long key, AdPlanIndexObject value) { log.info("AdPlanIndexAwareImpl before update::{}", planIndexObjectMap); //查询当前的索引信息,如果不存在,直接新增索引信息 AdPlanIndexObject oldObj = planIndexObjectMap.get(key); if (null == oldObj) { planIndexObjectMap.put(key, value); } else { oldObj.update(value); } log.info("AdPlanIndexAwareImpl after update::{}", planIndexObjectMap); } @Override public void delete(Long key, AdPlanIndexObject value) { log.info("AdPlanIndexAwareImpl before delete::{}", planIndexObjectMap); planIndexObjectMap.remove(key); log.info("AdPlanIndexAwareImpl after delete::{}", planIndexObjectMap); } } 至此,我们已经完成了推广计划的索引对象和索引操作的代码编写,大家可以参考上面的示例,依次完成推广单元、推广创意、地域、兴趣、关键词以及推广创意和推广单元的关联索引,或者可直接从 Github传送门 / Gitee传送门 下载源码。 按照上述代码展示,我们已经实现了所有的索引操作的定义,但是实际情况中,我们需要使用这些服务的时候,需要在每一个Service中@Autowired注入,我们那么多的索引操作类,还不包含后续还有可能需要新增的索引维度,工作量实在是太大,而且不方便维护,作为一个合格的程序员来说,这是非常不友好的,也许会让后续的开发人员骂娘。 为了防止后续被骂,我们来编写一个索引缓存工具类com.sxzhongf.ad.index.IndexDataTableUtils,通过这个索引缓存工具类来实现一次注入,解决后顾之忧。要实现这个工具类,我们需要实现2个接口:org.springframework.context.ApplicationContextAware和org.springframework.core.PriorityOrdered org.springframework.context.ApplicationContextAware, 统一通过实现该接口的类,来操作Spring容器以及其中的Bean实例。 在Spring中,以Aware为后缀结束的类,大家可以简单的理解为应用程序想要XXX,比如ApplicationContextAware代表应用程序想要ApplicationContext,BeanFactoryAware 表示应用程序想要BeanFactory...等等 org.springframework.core.PriorityOrdered组件加载顺序,也可以使用org.springframework.core.Ordered以下代码为我们的工具类: package com.sxzhongf.ad.index; import org.springframework.beans.BeansException; import org.springframework.context.ApplicationContext; import org.springframework.context.ApplicationContextAware; import org.springframework.core.PriorityOrdered; import org.springframework.stereotype.Component; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; /** * IndexDataTableUtils for 所有索引服务需要缓存的Java Bean * * 使用方式: * 获取{@link com.sxzhongf.ad.index.creative.CreativeIndexAwareImpl}索引服务类 * 如下: * {@code * IndexDataTableUtils.of(CreativeIndexAwareImpl.class) * } * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang | 若初</a> */ @Component public class IndexDataTableUtils implements ApplicationContextAware, PriorityOrdered { //注入ApplicationContext private static ApplicationContext applicationContext; /** * 定义用于保存所有Index的Map * Class标示我们的索引类 */ private static final Map<Class, Object> dataTableMap = new ConcurrentHashMap<>(); @Override public void setApplicationContext(ApplicationContext applicationContext) throws BeansException { IndexDataTableUtils.applicationContext = applicationContext; } /** * 获取索引服务缓存 */ public static <T> T of(Class<T> klass) { T instance = (T) dataTableMap.get(klass); //如果获取到索引bean,直接返回当前bean if (null != instance) { return instance; } //首次获取索引bean为空,写入Map dataTableMap.put(klass, bean(klass)); return (T) dataTableMap.get(klass); } /** * 获取Spring 容器中的Bean对象 */ private static <T> T bean(String beanName) { return (T) applicationContext.getBean(beanName); } /** * 获取Spring 容器中的Bean对象 */ private static <T> T bean(Class klass) { return (T) applicationContext.getBean(klass); } @Override public int getOrder() { return PriorityOrdered.HIGHEST_PRECEDENCE; } }

优秀的个人博客,低调大师

[Spring cloud 一步步实现广告系统] 4. 通用代码模块设计

一个大的系统,在代码的复用肯定是必不可少的,它能解决: 统一的响应处理(可以对外提供统一的响应对象包装) graph LR HTTP-->|HttpRequest|RestController RestController-->|HttpResponse -> JSON|HTTP 统一的异常处理(可以将业务异常统一收集处理) graph TB subgraph 处理过程 AdCommonException -->|RestControllerAdvice| HttpRequest end subgraph HttpResponse RestControllerAdvice -->|统一返回| JSON end 通用代码定义、配置定义(通用的配置信息放在统一的代码管理中,便于维护和更新) 创建项目 mscx-ad-common POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>mscx-ad</artifactId> <groupId>com.sxzhongf</groupId> <version>1.0-SNAPSHOT</version> <relativePath>../pom.xml</relativePath> </parent> <modelVersion>4.0.0</modelVersion> <packaging>jar</packaging> <groupId>com.sxzhongf</groupId> <artifactId>mscx-ad-common</artifactId> <version>1.0-SNAPSHOT</version> <name>Common-Service</name> <description>公共逻辑 and 帮助类</description> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- fastjson是阿里巴巴的开源JSON解析库,它可以解析JSON格式的字符串,支持将Java Bean序列化为JSON字符串,也可以从JSON字符串反序列化到JavaBean --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.58</version> </dependency> <!-- --> <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> </dependency> </dependencies> <!--maven编译插件--> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project> 项目结构 vo (统一响应对象package) advice (bean 增强package ) > Spring支持五种类型的增强或通知(Advice) > - Before(方法执行前) `org.apringframework.aop.MethodBeforeAdvice` > - AfterReturning(方法返回后) `org.springframework.aop.AfterReturningAdvice` > - After-throwing(异常抛出后) `org.springframework.aop.ThrowsAdviceArround`环绕,即方法前后 `org.aopaliance.intercept.MethodInterceptor` > 引介,不常用 `org.springframework.aop.IntroductionInterceptor` > 具体可参考:[细说advice,advisor](https://www.jianshu.com/p/1dd6a26c881b) annotation config exception utils export 通用响应编码 创建通用返回对象 /** * @Data是下属注解的组合注解 * * @see Getter * @see Setter * @see RequiredArgsConstructor * @see ToString * @see EqualsAndHashCode * @see lombok.Value */ @Data @NoArgsConstructor //无参构造函数 @AllArgsConstructor //全参构造函数 public class CommonResponse<T> implements Serializable { private Integer code = 0; private String message = "success"; /** * 具体的数据对象信息 */ private T data; public CommonResponse(Integer code, String message) { this.code = code; this.message = message; } public CommonResponse(T data) { this.data = data; } } 在advice包中实现对响应的统一拦截com.sxzhongf.ad.common.advice.CommonResponseDataAdvice,参考 ResponseBodyAdvice, RestControllerAdvice 可查看源码org.springframework.web.servlet.mvc.method.annotation.ResponseBodyAdvice @RestControllerAdvice public class CommonResponseDataAdvice implements ResponseBodyAdvice<Object> { /** * 判断是否需要对响应进行处理 * * @return false -> 不处理,true -> 处理 */ @Override public boolean supports(MethodParameter methodParameter, Class<? extends HttpMessageConverter<?>> converterType) { // // //获取当前处理请求的controller的方法 // String methodName = methodParameter.getMethod().getName().toLowerCase(); // // 不拦截/不需要处理返回值 的方法 // String method = "login"; //如登录 // //不拦截 // return !method.equals(methodName); // 如果类上标记了@IgnoreResponseAdvice,则不拦截 if (methodParameter.getDeclaringClass().isAnnotationPresent(IgnoreResponseAdvice.class)) { return false; } // 如果方法上标记了@IgnoreResponseAdvice,则不拦截 if (methodParameter.getMethod().isAnnotationPresent(IgnoreResponseAdvice.class)) { return false; } //对响应进行处理,执行beforeBodyWrite方法 return true; } /** * 目的 拦截CommonResponse * * @param body 原始的Controller需要返回的数据 */ @Override public Object beforeBodyWrite(Object body, MethodParameter returnType, MediaType selectedContentType, Class<? extends HttpMessageConverter<?>> selectedConverterType, ServerHttpRequest request, ServerHttpResponse response) { CommonResponse<Object> commonResponse = new CommonResponse<>(); if (null == body) { return commonResponse; } else if (body instanceof CommonResponse) { commonResponse = (CommonResponse<Object>) body; } else { commonResponse.setData(body); } return commonResponse; } } 我们在annotation包下面添加一个注解com.sxzhongf.ad.common.annotation.IgnoreResponseAdvice,用它来标柱是否需要支持上面的统一返回拦截。 /** * IgnoreResponseAdvice for 标示需要忽略拦截动作 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang</a> */ //ElementType.TYPE 表示该注解可用于class //ElementType.METHOD 表示可用于方法 @Target({ElementType.TYPE, ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) public @interface IgnoreResponseAdvice { } 通用异常处理 异常处理也是统一的,那么同样就要使用到RestControllerAdvice,同时,需要使用的Spring 的ExceptionHandler进行异常处理 创建统一异常拦截类 /** * GlobalExceptionAdvice for 全局统一异常拦截 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang</a> * @see RestControllerAdvice * @see ExceptionHandler */ @RestControllerAdvice public class GlobalExceptionAdvice { /** * 对 {@link AdException} 进行统一处理 * {@link ExceptionHandler} 对指定的异常进行拦截 * 可优化: * 定义多种类异常,实现对应的异常处理, * 例如: * <ul> * <li> * 推广单元操作异常,抛出 AdUnitException * </li> * <li> * Binlog 解析异常,抛出 BinlogException * </li> * </ul> * 拦截Spring Exception 使用 {@link ExceptionHandler}注解 */ @ExceptionHandler(value = AdException.class) public CommonResponse<String> handlerAdException(HttpServletRequest request, AdException ex) { CommonResponse<String> response = new CommonResponse<>(-1, "business error"); response.setData(ex.getMessage()); return response; } } 创建通用异常类 /** * AdException for 统一异常处理类 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang</a> */ public class AdException extends Exception { public AdException(String message) { super(message); } } 通用配置信息 通过HTTP消息转换器HttpMessageConverter,实现对象转换,Java Object -> HTTP 数据流 新增WebConfiguration,我们通过实现org.springframework.web.servlet.config.annotation.WebMvcConfigurer来定制和修改Spring MVC的配置信息。 /** * WebConfiguration for 对Spring的配置和行为进行定制修改 * * @author <a href="mailto:magicianisaac@gmail.com">Isaac.Zhang</a> * @see WebMvcConfigurer */ @Configuration public class WebConfiguration implements WebMvcConfigurer { /** * 匹配路由请求规则 */ @Override public void configurePathMatch(PathMatchConfigurer configurer) { } /** * 注册自定义的Formatter 和 Convert */ @Override public void addFormatters(FormatterRegistry registry) { } /** * 添加静态资源处理器 */ @Override public void addResourceHandlers(ResourceHandlerRegistry registry) { } /** * 添加自定义视图控制器 */ @Override public void addViewControllers(ViewControllerRegistry registry) { } /** * 添加自定义方法参数处理器 */ @Override public void addArgumentResolvers(List<HandlerMethodArgumentResolver> resolvers) { } /** * 配置消息转换器 */ @Override public void configureMessageConverters(List<HttpMessageConverter<?>> converters) { //清空所有转换器 converters.clear(); // Java Obj -> Json Obj (http header: application/json) converters.add(new MappingJackson2HttpMessageConverter()); } }

优秀的个人博客,低调大师

java spring cloud 版b2b2c社交电商-熔断器Hystrix

说起springcloud熔断让我想起了去年股市中的熔断,多次痛的领悟,随意实施的熔断对整个系统的影响是灾难性的,好了接下来我们还是说正事。 熔断器 雪崩效应 在微服务架构中通常会有多个服务层调用,基础服务的故障可能会导致级联故障,进而造成整个系统不可用的情况,这种现象被称为服务雪崩效应。服务雪崩效应是一种因“服务提供者”的不可用导致“服务消费者”的不可用,并将不可用逐渐放大的过程。 如果下图所示:A作为服务提供者,B为A的服务消费者,C和D是B的服务消费者。A不可用引起了B的不可用,并将不可用像滚雪球一样放大到C和D时,雪崩效应就形成了。 熔断器(CircuitBreaker) 熔断器的原理很简单,如同电力过载保护器。它可以实现快速失败,如果它在一段时间内侦测到许多类似的错误,会强迫其以后的多个调用快速失败,不再访问远程服务器,从而防止应用程序不断地尝试执行可能会失败的操作,使得应用程序继续执行而不用等待修正错误,或者浪费CPU时间去等到长时间的超时产生。熔断器也可以使应用程序能够诊断错误是否已经修正,如果已经修正,应用程序会再次尝试调用操作。 熔断器模式就像是那些容易导致错误的操作的一种代理。这种代理能够记录最近调用发生错误的次数,然后决定使用允许操作继续,或者立即返回错误。 熔断器开关相互转换的逻辑如下图: 熔断器就是保护服务高可用的最后一道防线。 Hystrix特性 1.断路器机制 断路器很好理解, 当Hystrix Command请求后端服务失败数量超过一定比例(默认50%), 断路器会切换到开路状态(Open). 这时所有请求会直接失败而不会发送到后端服务. 断路器保持在开路状态一段时间后(默认5秒), 自动切换到半开路状态(HALF-OPEN). 这时会判断下一次请求的返回情况, 如果请求成功, 断路器切回闭路状态(CLOSED), 否则重新切换到开路状态(OPEN). Hystrix的断路器就像我们家庭电路中的保险丝, 一旦后端服务不可用, 断路器会直接切断请求链, 避免发送大量无效请求影响系统吞吐量, 并且断路器有自我检测并恢复的能力. 2.Fallback Fallback相当于是降级操作. 对于查询操作, 我们可以实现一个fallback方法, 当请求后端服务出现异常的时候, 可以使用fallback方法返回的值. fallback方法的返回值一般是设置的默认值或者来自缓存. 3.资源隔离 在Hystrix中, 主要通过线程池来实现资源隔离. 通常在使用的时候我们会根据调用的远程服务划分出多个线程池. 例如调用产品服务的Command放入A线程池, 调用账户服务的Command放入B线程池. 这样做的主要优点是运行环境被隔离开了. 这样就算调用服务的代码存在bug或者由于其他原因导致自己所在线程池被耗尽时, 不会对系统的其他服务造成影响. 但是带来的代价就是维护多个线程池会对系统带来额外的性能开销. 如果是对性能有严格要求而且确信自己调用服务的客户端代码不会出问题的话, 可以使用Hystrix的信号模式(Semaphores)来隔离资源.

优秀的个人博客,低调大师

Spring Cloud Spring Boot mybatis分布式微服务云架构(七)开发Web应用(1)

静态资源访问在我们开发Web应用的时候,需要引用大量的js、css、图片等静态资源。 默认配置Spring Boot默认提供静态资源目录位置需置于classpath下,目录名需符合如下规则: /static /public /resources /META-INF/resources 举例:我们可以在src/main/resources/目录下创建static,在该位置放置一个图片文件。启动程序后,尝试访问http://localhost:8080/D.jpg。如能显示图片,配置成功。 渲染Web页面在之前的示例中,我们都是通过@RestController来处理请求,所以返回的内容为json对象。那么如果需要渲染html页面的时候,要如何实现呢? 模板引擎在动态HTML实现上Spring Boot依然可以完美胜任,并且提供了多种模板引擎的默认配置支持,所以在推荐的模板引擎下,我们可以很快的上手开发动态网站。 Spring Boot提供了默认配置的模板引擎主要有以下几种: Thymeleaf FreeMarker Velocity Groovy Mustache Spring Boot建议使用这些模板引擎,避免使用JSP,若一定要使用JSP将无法实现Spring Boot的多种特性,具体可见后文:支持JSP的配置 当你使用上述模板引擎中的任何一个,它们默认的模板配置路径为:src/main/resources/templates。当然也可以修改这个路径,具体如何修改,可在后续各模板引擎的配置属性中查询并修改。 Thymeleaf Thymeleaf是一个XML/XHTML/HTML5模板引擎,可用于Web与非Web环境中的应用开发。它是一个开源的Java库,基于Apache License 2.0许可,由Daniel Fernández创建,该作者还是Java加密库Jasypt的作者。 Thymeleaf提供了一个用于整合Spring MVC的可选模块,在应用开发中,你可以使用Thymeleaf来完全代替JSP或其他模板引擎,如Velocity、FreeMarker等。Thymeleaf的主要目标在于提供一种可被浏览器正确显示的、格式良好的模板创建方式,因此也可以用作静态建模。你可以使用它创建经过验证的XML与HTML模板。相对于编写逻辑或代码,开发者只需将标签属性添加到模板中即可。接下来,这些标签属性就会在DOM(文档对象模型)上执行预先制定好的逻辑。 示例模板: <table> <thead> <tr> <th th:text="#{msgs.headers.name}">Name</td> <th th:text="#{msgs.headers.price}">Price</td> </tr> </thead> <tbody> <tr th:each="prod : ${allProducts}"> <td th:text="${prod.name}">Oranges</td> <td th:text="${#numbers.formatDecimal(prod.price,1,2)}">0.99</td> </tr> </tbody> </table> 可以看到Thymeleaf主要以属性的方式加入到html标签中,浏览器在解析html时,当检查到没有的属性时候会忽略,所以Thymeleaf的模板可以通过浏览器直接打开展现,这样非常有利于前后端的分离。 在Spring Boot中使用Thymeleaf,只需要引入下面依赖,并在默认的模板路径src/main/resources/templates下编写模板文件即可完成。 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId> </dependency>

优秀的个人博客,低调大师

Spring Cloud Spring Boot mybatis分布式微服务云架构(八)开发Web应用(2)

在完成配置之后,举一个简单的例子,在快速入门工程的基础上,举一个简单的示例来通过Thymeleaf渲染一个页面。 @Controller public class HelloController { @RequestMapping("/") public String index(ModelMap map) { // 加入一个属性,用来在模板中读取 map.addAttribute("host", "http://blog.didispace.com"); // return模板文件的名称,对应src/main/resources/templates/index.html return "index"; } } <!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8" /> <title></title> </head> <body> <h1 th:text="${host}">Hello World</h1> </body> </html> 如上页面,直接打开html页面展现Hello World,但是启动程序后,访问http://localhost:8080/,则是展示Controller中host的值:http://blog.didispace.com,做到了不破坏HTML自身内容的数据逻辑分离。 更多Thymeleaf的页面语法,还请访问Thymeleaf的官方文档查询使用。 Thymeleaf的默认参数配置 如有需要修改默认配置的时候,只需复制下面要修改的属性到application.properties中,并修改成需要的值,如修改模板文件的扩展名,修改默认的模板路径等。 # Enable template caching. spring.thymeleaf.cache=true # Check that the templates location exists. spring.thymeleaf.check-template-location=true # Content-Type value. spring.thymeleaf.content-type=text/html # Enable MVC Thymeleaf view resolution. spring.thymeleaf.enabled=true # Template encoding. spring.thymeleaf.encoding=UTF-8 # Comma-separated list of view names that should be excluded from resolution. spring.thymeleaf.excluded-view-names= # Template mode to be applied to templates. See also StandardTemplateModeHandlers. spring.thymeleaf.mode=HTML5 # Prefix that gets prepended to view names when building a URL. spring.thymeleaf.prefix=classpath:/templates/ # Suffix that gets appended to view names when building a URL. spring.thymeleaf.suffix=.html spring.thymeleaf.template-resolver-order= # Order of the template resolver in the chain. spring.thymeleaf.view-names= # Comma-separated list of view names that can be resolved. 支持JSP的配置Spring Boot并不建议使用,但如果一定要使用,可以参考此工程作为脚手架:JSP支持

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册