首页 文章 精选 留言 我的

精选列表

搜索[分布式锁],共10000篇文章
优秀的个人博客,低调大师

分布式监控系统 WGCLOUD v2.3.6 发布,新增网络监控模块

WGCLOUD基于java语言开发,是springboot构建的监控系统,支持高并发高性能,核心模块包括:服务器集群监控,ES集群状态监控,CPU监控,内存监控,数据监控,服务心跳检测,应用进程管理,磁盘IO监控,系统负载监控,监控告警信息推送。 此次更新,新增了网络监控模块,动态检测主机数据包和发送接受字节。 码云源码下载:https://gitee.com/wanghouhou/wgcloud GITHUB源码下载:https://github.com/tianshiyeben/wgcloud 安装包下载:http://www.wgstart.com

优秀的个人博客,低调大师

分布式架构之Zookeeper安装测试和zookeeper的集群搭建说明

1. Zookeeper安装 1.1测试JDK 1.2上传压缩包 zookeeper官网:https://zookeeper.apache.org/releases.html 1.3解压压缩包 tar -xvf zookeeper-3.4.14.tar.gz 1.4 删除压缩包,将解压文件改名为zookeeper(自定义) 1.5 创建data和log文件 1.6 修改zoo.cfg配置文件 1.6.1 进入data文件,pwd,复制其路径 1.6.2更改zoo_sample.cfg文件名为zoo.cfg 1.6.3 修改dataDir路径,也就是刚才的data路径(dataLogDir类似) 1.7 检测Zooleeper是否安装成功 1.7.1 进入bin文件目录下,通过sh zkServer.sh start 开启 1.7.2 开启后 ,通过 sh zkServer.sh status 检测状态 , 状态显示为standalone说明开启成功,你的Zookeeper安装成功!!! 2.Zookeeper集群搭建 2.1 准备工作 2.1.1创建zkCluster文件再zookeeper的根目录下,再其中创建zk1/zk2/zk3三个文件夹 2.1.2在三个文件夹中创建data和log文件 -- mkdir {zk1,zk2,zk3}/{data,log} 2.2创建myid 2.2.1根据不同的文件有不同myid-----zk1的myid中内容为1,zk2为2,zk3为3 2.3编辑配置文件 2.3.1 复制zk1的路径 2.3.2 在conf文件目录下将zoo_sample.cfg 复制为zoo1.cfg之后修改配置文件. 2.3.3 vim zoo1.cfg -->> 更改配置 dataDir和dataLogDir的路径就用data和log所对应的路径 clientPort 所对应的2181的最后一位数,只需按照myid中的数字所配置,其余三位不用修改 server.1/2/3 是属于叠加一的方式,便于记忆 zoo2.cfg/zoo3.cfg只需按照我上文所述更改即可 记住server.1/2/3不需要更改,只用配置一次 2.4 测试集群搭建是否成功 sh zkServer.sh start zoo1.cfg 开启 sh zkServer.sh stop zoo1.cfg 关闭 sh zkServer.sh status zoo1.cfg 检测状态 2.4.1 在图中我只开启了zoo1.cfg/zoo2.cfg---->> 从我框住的可以看出,zoo2.cfg为主机,zoo1.cfg为从机,如果zoo3.cfg开启,依旧是zoo2.cfg的从机 Zookeeper集群搭建成功!!!

优秀的个人博客,低调大师

从原理到实现,解析万亿流量下的分布式缓存架构

为什么要使用线程池在实际使用中,线程是很占用系统资源的,如果对线程管理不善很容易导致系统问题。 因此,在大多数并发框架中都会使用线程池来管理线程,使用线程池管理线程主要有如下好处: (1)降低资源消耗。通过复用已存在的线程和降低线程关闭的次数来尽可能降低系统性能损耗 (2)提升系统响应速度。通过复用线程,省去创建线程的过程,因此整体上提升了系统的响应速度 (3)提高线程的可管理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源, 还会降低系统的稳定性,因此,需要使用线程池来管理线程。 线程池的工作原理当一个并发任务提交给线程池,线程池分配线程去执行任务的过程如下:线程池执行所提交的任务过程主要有这样几个阶段: (1)先判断线程池中核心线程池所有的线程是否都在执行任务。 如果不是,则新创建一个线程执行刚提交的任务,否则,核心线程池中所有的线程都在执行任务,则进入(2) (2)判断当前阻塞队列是否已满,如果未满, 则将提交的任务放置在阻塞队列中;否则,则进入(3) (3)判断线程池中所有的线程是否都在执行任务, 如果没有,则创建一个新的线程来执行任务,否则,则交给饱和策略进行处理 线程池执行逻辑通过ThreadPoolExecutor创建线程池后,提交任务后执行过程是怎样的,下面来通过源码来看一看。execute()方法源码如下: public void execute(Runnable command) { if (command == null) throw new NullPointerException(); int c = ctl.get(); //如果线程池的线程个数少于corePoolSize则创建新线程执行当前任务 if (workerCountOf(c) < corePoolSize) { if (addWorker(command, true)) return; c = ctl.get(); } //如果线程个数大于corePoolSize或者创建线程失败,则将任务存放在阻塞队列workQueue中 if (isRunning(c) && workQueue.offer(command)) { int recheck = ctl.get(); if (! isRunning(recheck) && remove(command)) reject(command); else if (workerCountOf(recheck) == 0) addWorker(null, false); } //如果当前任务无法放进阻塞队列中,则创建新的线程来执行任务 else if (!addWorker(command, false)) reject(command); }execute()执行过程:execute方法执行逻辑有这样几种情况: (1)如果当前运行的线程少于corePoolSize,则会创建新的线程来执行新的任务,即使线程池中的其他线程是空闲的; (2)如果运行的线程个数等于或者大于corePoolSize且小于maximumPoolSize,则会将提交的任务存放到阻塞队列workQueue中; (3)如果当前workQueue队列已满的话,则会创建新的线程来执行任务; (4)如果线程个数已经超过了maximumPoolSize,则会使用饱和策略RejectedExecutionHandler来进行处理增量的任务。 线程池的关闭关闭线程池,可以通过shutdown和shutdownNow这两个方法。 它们的原理都是遍历线程池中所有的线程,然后依次中断线程。 shutdown和shutdownNow还是有不一样的地方: shutdownNow首先将线程池的状态设置为STOP,然后尝试停止所有的正在执行和未执行任务的线程,并返回等待执行任务的列表shutdown只是将线程池的状态设置为SHUTDOWN状态,然后中断所有没有正在执行任务的线程可以看出shutdown方法会将正在执行的任务继续执行完,而shutdownNow会直接中断正在执行的任务。 调用了这两个方法的任意一个,isShutdown方法都会返回true, 当所有的线程都关闭成功,才表示线程池成功关闭,这时调用isTerminated方法才会返回true。 如何合理配置线程池参数要想合理的配置线程池,就必须首先分析任务特性,可以从以下几个角度来进行分析: 任务的性质:CPU密集型任务,IO密集型任务和混合型任务。任务的优先级:高,中和低。任务的执行时间:长,中和短。任务的依赖性:是否依赖其他系统资源,如数据库连接。CPU密集型任务配置尽可能少的线程数量,如配置(N cpu)+1个线程的线程池。IO密集型任务则由于需要等待IO操作,线程并不是一直在执行任务,则配置尽可能多的线程,如2 * (N cpu)。混合型的任务,如果可以拆分,则将其拆分成一个CPU密集型任务和一个IO密集型任务,只要这两个任务执行的时间相差不是太大,那么分解后执行的吞吐率要高于串行执行的吞吐率,如果这两个任务执行时间相差太大,则没必要进行分解。我们可以通过Runtime.getRuntime().availableProcessors()方法获得当前设备的CPU个数。优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理。它可以让优先级高的任务先得到执行,需要注意的是如果一直有优先级高的任务提交到队列里,那么优先级低的任务可能永远不能执行。 执行时间不同的任务可以交给不同规模的线程池来处理,或者也可以使用优先级队列,让执行时间短的任务先执行。 依赖数据库连接池的任务,因为线程提交SQL后需要等待数据库返回结果,如果等待的时间越长CPU空闲时间就越长,那么线程数应该设置越大,这样才能更好的利用CPU。 阻塞队列最好是使用有界队列,如果采用无界队列的话,一旦任务积压在阻塞队列中的话就会占用过多的内存资源,甚至会使得系统崩溃。 ScheduledThreadPoolExecutorScheduledThreadPoolExecutor继承了ThreadPoolExecutor类, 因此,整体上功能一致,线程池主要负责创建线程(Worker类), 线程从阻塞队列中不断获取新的异步任务,直到阻塞队列中已经没有了异步任务为止。 但是相较于ThreadPoolExecutor来说,ScheduledThreadPoolExecutor 具有延时执行任务和周期性执行任务的特性, ScheduledThreadPoolExecutor重新设计了任务类ScheduleFutureTask, ScheduleFutureTask重写了run方法使其具有可延时执行和可周期性执行任务的特性。 另外,阻塞队列DelayedWorkQueue是可根据优先级排序的队列,采用了堆的底层数据结构, 使得与当前时间相比,将待执行时间越靠近的任务放置到队头,以便线程能够获取到任务进行执行 线程池无论是ThreadPoolExecutor还是ScheduledThreadPoolExecutor, 在设计时的三个关键要素是:任务、执行者以及任务结果。 它们的设计思想也是完全将这三个关键要素进行了解耦。 执行者任务的执行机制,完全交由Worker类,也就是进一步了封装了Thread。 向线程池提交任务,无论为ThreadPoolExecutor的execute方法和submit方法, 还是ScheduledThreadPoolExecutor的schedule方法,都是先将任务移入到阻塞队列中, 然后通过addWork方法新建了Work类,并通过runWorker方法启动线程,并 不断的从阻塞对列中获取异步任务执行交给Worker执行,直至阻塞队列中无法取到任务为止。 任务在ThreadPoolExecutor和ScheduledThreadPoolExecutor中任务是指实现了Runnable接口和Callable接口的实现类。 ThreadPoolExecutor中会将任务转换成FutureTask类, 而在ScheduledThreadPoolExecutor中为了实现可延时执行任务和周期性执行任务的特性, 任务会被转换成ScheduledFutureTask类,该类继承了FutureTask,并重写了run方法。 任务结果在ThreadPoolExecutor中提交任务后,获取任务结果可以通过Future接口的类, 在ThreadPoolExecutor中实际上为FutureTask类, 而在ScheduledThreadPoolExecutor中则是ScheduledFutureTask类 线程池的状态线程池的状态有: RUNNING:能接受新提交的任务,并且也能够处理阻塞队列中的任务;SHUTDOWN:不再接受新提交的任务,但是可以处理存量任务(即阻塞队列中的任务);STOP:不再接受新提交的任务,也不处理存量任务;TIDYING:所有任务都已终止;TERMINATED:默认是什么也不做的,只是作为一个标识。状态转移如下图所示:工作线程的生命周期:

优秀的个人博客,低调大师

Spring Boot Security 整合 JWT 实现 无状态的分布式API接口

文章首发于公众号《程序员果果》地址:https://mp.weixin.qq.com/s/QO5L1-RCR-jmIuHlZIfkqQ 简介 JSON Web Token(缩写 JWT)是目前最流行的跨域认证解决方案。JSON Web Token 入门教程 - 阮一峰,这篇文章可以帮你了解JWT的概念。本文重点讲解Spring Boot 结合 jwt ,来实现前后端分离中,接口的安全调用。 快速上手 之前的文章已经对 Spring Security 进行了讲解,这一节对涉及到 Spring Security 的配置不详细讲解。若不了解 Spring Security 先移步到 Spring Boot Security 详解。 建表 DROP TABLE IF EXISTS `user`; DROP TABLE IF EXISTS `role`; DROP TABLE IF EXISTS `user_role`; DROP TABLE IF EXISTS `role_permission`; DROP TABLE IF EXISTS `permission`; CREATE TABLE `user` ( `id` bigint(11) NOT NULL AUTO_INCREMENT, `username` varchar(255) NOT NULL, `password` varchar(255) NOT NULL, PRIMARY KEY (`id`) ); CREATE TABLE `role` ( `id` bigint(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`) ); CREATE TABLE `user_role` ( `user_id` bigint(11) NOT NULL, `role_id` bigint(11) NOT NULL ); CREATE TABLE `role_permission` ( `role_id` bigint(11) NOT NULL, `permission_id` bigint(11) NOT NULL ); CREATE TABLE `permission` ( `id` bigint(11) NOT NULL AUTO_INCREMENT, `url` varchar(255) NOT NULL, `name` varchar(255) NOT NULL, `description` varchar(255) NULL, `pid` bigint(11) NOT NULL, PRIMARY KEY (`id`) ); INSERT INTO user (id, username, password) VALUES (1,'user','e10adc3949ba59abbe56e057f20f883e'); INSERT INTO user (id, username , password) VALUES (2,'admin','e10adc3949ba59abbe56e057f20f883e'); INSERT INTO role (id, name) VALUES (1,'USER'); INSERT INTO role (id, name) VALUES (2,'ADMIN'); INSERT INTO permission (id, url, name, pid) VALUES (1,'/user/hi','',0); INSERT INTO permission (id, url, name, pid) VALUES (2,'/admin/hi','',0); INSERT INTO user_role (user_id, role_id) VALUES (1, 1); INSERT INTO user_role (user_id, role_id) VALUES (2, 1); INSERT INTO user_role (user_id, role_id) VALUES (2, 2); INSERT INTO role_permission (role_id, permission_id) VALUES (1, 1); INSERT INTO role_permission (role_id, permission_id) VALUES (2, 1); INSERT INTO role_permission (role_id, permission_id) VALUES (2, 2); 项目结构 resources |___application.yml java |___com | |____gf | | |____SpringbootJwtApplication.java | | |____config | | | |____.DS_Store | | | |____SecurityConfig.java | | | |____MyFilterSecurityInterceptor.java | | | |____MyInvocationSecurityMetadataSourceService.java | | | |____MyAccessDecisionManager.java | | |____entity | | | |____User.java | | | |____RolePermisson.java | | | |____Role.java | | |____mapper | | | |____PermissionMapper.java | | | |____UserMapper.java | | | |____RoleMapper.java | | |____utils | | | |____JwtTokenUtil.java | | |____controller | | | |____AuthController.java | | |____filter | | | |____JwtTokenFilter.java | | |____service | | | |____impl | | | | |____AuthServiceImpl.java | | | | |____UserDetailsServiceImpl.java | | | |____AuthService.java 关键代码 pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-security</artifactId> </dependency> <dependency> <groupId>io.jsonwebtoken</groupId> <artifactId>jjwt</artifactId> <version>0.9.0</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.0.0</version> </dependency> application.yml spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/spring-security-jwt?useUnicode=true&characterEncoding=utf-8&useSSL=false username: root password: root SecurityConfig @Configuration @EnableWebSecurity public class SecurityConfig extends WebSecurityConfigurerAdapter { @Autowired private UserDetailsService userDetailsService; @Autowired public void configureGlobal(AuthenticationManagerBuilder auth) throws Exception { //校验用户 auth.userDetailsService( userDetailsService ).passwordEncoder( new PasswordEncoder() { //对密码进行加密 @Override public String encode(CharSequence charSequence) { System.out.println(charSequence.toString()); return DigestUtils.md5DigestAsHex(charSequence.toString().getBytes()); } //对密码进行判断匹配 @Override public boolean matches(CharSequence charSequence, String s) { String encode = DigestUtils.md5DigestAsHex(charSequence.toString().getBytes()); boolean res = s.equals( encode ); return res; } } ); } @Override protected void configure(HttpSecurity http) throws Exception { http.csrf().disable() //因为使用JWT,所以不需要HttpSession .sessionManagement().sessionCreationPolicy( SessionCreationPolicy.STATELESS).and() .authorizeRequests() //OPTIONS请求全部放行 .antMatchers( HttpMethod.OPTIONS, "/**").permitAll() //登录接口放行 .antMatchers("/auth/login").permitAll() //其他接口全部接受验证 .anyRequest().authenticated(); //使用自定义的 Token过滤器 验证请求的Token是否合法 http.addFilterBefore(authenticationTokenFilterBean(), UsernamePasswordAuthenticationFilter.class); http.headers().cacheControl(); } @Bean public JwtTokenFilter authenticationTokenFilterBean() throws Exception { return new JwtTokenFilter(); } @Bean @Override public AuthenticationManager authenticationManagerBean() throws Exception { return super.authenticationManagerBean(); } } JwtTokenUtil /** * JWT 工具类 */ @Component public class JwtTokenUtil implements Serializable { private static final String CLAIM_KEY_USERNAME = "sub"; /** * 5天(毫秒) */ private static final long EXPIRATION_TIME = 432000000; /** * JWT密码 */ private static final String SECRET = "secret"; /** * 签发JWT */ public String generateToken(UserDetails userDetails) { Map<String, Object> claims = new HashMap<>(16); claims.put( CLAIM_KEY_USERNAME, userDetails.getUsername() ); return Jwts.builder() .setClaims( claims ) .setExpiration( new Date( Instant.now().toEpochMilli() + EXPIRATION_TIME ) ) .signWith( SignatureAlgorithm.HS512, SECRET ) .compact(); } /** * 验证JWT */ public Boolean validateToken(String token, UserDetails userDetails) { User user = (User) userDetails; String username = getUsernameFromToken( token ); return (username.equals( user.getUsername() ) && !isTokenExpired( token )); } /** * 获取token是否过期 */ public Boolean isTokenExpired(String token) { Date expiration = getExpirationDateFromToken( token ); return expiration.before( new Date() ); } /** * 根据token获取username */ public String getUsernameFromToken(String token) { String username = getClaimsFromToken( token ).getSubject(); return username; } /** * 获取token的过期时间 */ public Date getExpirationDateFromToken(String token) { Date expiration = getClaimsFromToken( token ).getExpiration(); return expiration; } /** * 解析JWT */ private Claims getClaimsFromToken(String token) { Claims claims = Jwts.parser() .setSigningKey( SECRET ) .parseClaimsJws( token ) .getBody(); return claims; } } JwtTokenFilter @Component public class JwtTokenFilter extends OncePerRequestFilter { @Autowired private UserDetailsService userDetailsService; @Autowired private JwtTokenUtil jwtTokenUtil; /** * 存放Token的Header Key */ public static final String HEADER_STRING = "Authorization"; @Override protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain chain) throws ServletException, IOException { String token = request.getHeader( HEADER_STRING ); if (null != token) { String username = jwtTokenUtil.getUsernameFromToken(token); if (username != null && SecurityContextHolder.getContext().getAuthentication() == null) { UserDetails userDetails = this.userDetailsService.loadUserByUsername(username); if (jwtTokenUtil.validateToken(token, userDetails)) { UsernamePasswordAuthenticationToken authentication = new UsernamePasswordAuthenticationToken( userDetails, null, userDetails.getAuthorities()); authentication.setDetails(new WebAuthenticationDetailsSource().buildDetails( request)); SecurityContextHolder.getContext().setAuthentication(authentication); } } } chain.doFilter(request, response); } } AuthServiceImpl @Service public class AuthServiceImpl implements AuthService { @Autowired private AuthenticationManager authenticationManager; @Autowired private UserDetailsService userDetailsService; @Autowired private JwtTokenUtil jwtTokenUtil; @Override public String login(String username, String password) { UsernamePasswordAuthenticationToken upToken = new UsernamePasswordAuthenticationToken( username, password ); Authentication authentication = authenticationManager.authenticate(upToken); SecurityContextHolder.getContext().setAuthentication(authentication); UserDetails userDetails = userDetailsService.loadUserByUsername( username ); String token = jwtTokenUtil.generateToken(userDetails); return token; } } 关键代码就是这些,其他类代码参照后面提供的源码地址。 验证 登录,获取token curl -X POST -d "username=admin&password=123456" http://127.0.0.1:8080/auth/login 返回 eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiJhZG1pbiIsImV4cCI6MTU1NDQ1MzUwMX0.sglVeqnDGUL9pH1oP3Lh9XrdzJIS42VKBApd2nPJt7e1TKhCEY7AUfIXnzG9vc885_jTq4-h8R6YCtRRJzl8fQ 不带token访问资源 curl -X POST -d "name=zhangsan" http://127.0.0.1:8080/admin/hi 返回,拒绝访问 { "timestamp": "2019-03-31T08:50:55.894+0000", "status": 403, "error": "Forbidden", "message": "Access Denied", "path": "/auth/login" } 携带token访问资源 curl -X POST -H "Authorization: eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiJhZG1pbiIsImV4cCI6MTU1NDQ1MzUwMX0.sglVeqnDGUL9pH1oP3Lh9XrdzJIS42VKBApd2nPJt7e1TKhCEY7AUfIXnzG9vc885_jTq4-h8R6YCtRRJzl8fQ" -d "name=zhangsan" http://127.0.0.1:8080/admin/hi 返回正确 hi zhangsan , you have 'admin' role 源码 https://github.com/gf-huanchupk/SpringBootLearning/tree/master/springboot-jwt

优秀的个人博客,低调大师

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业???

MaxCompute Spark 是什么? 阿里云的用户大部分应该都听说过MaxCompute,但是MaxCompute Spark是什么?我尝试用几个问题来回答这个问题。 公司准备把Spark的业务和作业上阿里云,从以前的经验来看,运维Spark+Hadoop集群可是个重头活,存不存在这种提供Spark服务的PaaS产品? 公司的部分业务以及作业顺利迁移至MaxCompute了,Spark作业还得能够和MaxCompute的数据无缝集成呀? 云上的Spark作业成本不知道该怎么打算盘了? MaxCompute Spark提供了: 全托管、与MaxCompute一体化集成的Spark解决方案,只需关注Spark Application开发,没有集群运维的脏活累活。 从调度上、存储上,与MaxCompute native集成,性能最优解;并且能够

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册