搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

分布式链路日志组件 minbox-logging 初版发布

MinBox Logging MinBoxLogging是一款分布式、零侵入式的链路日志分析框架，支持 SpringCloud微服务架构下配置使用，内部封装了 RestTemplate、 OpenFeign

2019-09-05

云原生计算重塑企业IT架构 - 分布式应用架构

进入21世纪以来，我们见证了企业分布式应用架构从SOA(Service-oriented Architecture)，到微服务架构，再到云原生应用架构的演化。

2019-09-02

1. 简介广播执行表示一个任务实例会广播到该分组所有worker上执行，当所有机器都执行完成，该实例才算完成。任意一台worker执行失败，都算该实例失败。所有worker执行成功，才算该实例成功。有子任务列表，可以看每台机器的执行详情。 2. 执行方式执行方式选择广播 3. 任务类型任务类型可以选择多种，比如脚本，或者java任务。如果选择java，还支持preProcess和postProcess高级特性。使用java任务需要继承JavaProcessor（1.0.8+版本），接口如下： public ProcessResult process(JobContext context) throws Exception; (必选) public void preProcess(JobContext context); （可选） pub

2019-08-27

基于Rancher 2.2.5的高可用分布式集群环境搭建

说明：本文主要目的是记录在搭建内部学习的整个过程，仅供参考。因机器准备中,待续... 机器配置及说明机器简单以cloud-node(n）的方式命名，因为该集群环境中会部署rancher,k8s,harbor,helm，heketi,glusterfs等; 并不承担单一角色; 本次安装均用appuser用户进行、该用户拥有sudoer权限。操作系统： Red Hat Enterprise Linux Server release 7.3 CPU：2C 内存：8G 存储：60G Docker: 18.06.3-ce 机器IP 机器名角色附加存储说明 10.122.6.30 cloud-node1 load balancer（nginx) 500G 此机器部署在DMZ区，用于更新系统 10.122.4.44 cloud-node2 control panel,etcd 500G IDC区，由cloud-node1复制 10.122.4.45 cloud-node3 control panel,etcd 500G IDC区，由cloud-node1复制 10.122.4.46 cloud-node4 control panel,etcd 500G IDC区，由cloud-node1复制 10.122.4.47 cloud-node5 woker 500G IDC区，由cloud-node1复制 10.122.4.48 cloud-node6 woker 500G IDC区，由cloud-node1复制 10.122.4.49 cloud-node7 woker 500G IDC区，由cloud-node1复制 10.122.4.50 cloud-node8 woker 500G IDC区，由cloud-node1复制 Rancher 集群的安装环境配置基础环境配置节点机器配置见上主机名配置 sudo hostnamectl --static set-hostname cloud-node1 配置cloud-node1至其他节点的免密登陆（在节点cloud-node1） ssh-keygen -t rsa #一路enter，采用默认值 ssh-copy-id -i ~/.ssh/id_rsa.pub appuser@cloud-node2 #yes,输入密码; 其他节点同 Host配置 sudo vi /etc/hosts 10.122.6.30 cloud-node1 10.122.4.44 cloud-node2 10.122.4.45 cloud-node3 10.122.4.46 cloud-node4 10.122.4.47 cloud-node5 10.122.4.48 cloud-node6 10.122.4.49 cloud-node7 10.122.4.50 cloud-node8 关闭selinux【克隆前已完成】sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 关闭防火墙【克隆前已完成】sudo systemctl stop firewalld.service && systemctl disable firewalld.service 配置主机时间、时区、系统语言【由于是克隆的，本步骤跳过】 Kernel性能调优【克隆前已完成】 sudo cat >> /etc/sysctl.conf<<EOF net.ipv4.ip_forward=1 net.bridge.bridge-nf-call-iptables=1 net.ipv4.neigh.default.gc_thresh1=4096 net.ipv4.neigh.default.gc_thresh2=6144 net.ipv4.neigh.default.gc_thresh3=8192 EOF 数值根据实际环境自行配置，最后执行sudo sysctl -p保存配置。加载内核 sudo cat >modules.sh <<EOF modprobe br_netfilter modprobe ip6_udp_tunnel modprobe ip_set modprobe ip_set_hash_ip modprobe ip_set_hash_net modprobe iptable_filter modprobe iptable_nat modprobe iptable_mangle modprobe iptable_raw modprobe nf_conntrack_netlink modprobe nf_conntrack modprobe nf_conntrack_ipv4 modprobe nf_defrag_ipv4 modprobe nf_nat modprobe nf_nat_ipv4 modprobe nf_nat_masquerade_ipv4 modprobe nfnetlink modprobe udp_tunnel #modprobe VETH #modprobe VXLAN modprobe x_tables modprobe xt_addrtype modprobe xt_conntrack modprobe xt_comment modprobe xt_mark modprobe xt_multiport modprobe xt_nat modprobe xt_recent modprobe xt_set modprobe xt_statistic modprobe xt_tcpudp EOF sudo sh modules.sh Java && Docker 安装【克隆前已完成】 tar -zxvf jdk-8u221-linux-x64.tar.gz cd jdk1.8.0_221/ sudo mv jdk1.8.0_221/ /opt/ sudo alternatives --install /usr/bin/java java /opt/jdk1.8.0_221/bin/java 3 sudo alternatives --config java （3） java -version sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo sudo yum install -y docker-ce-18.06.3.ce-3.el7 usermod -aG docker appuser #将appuser添加到组docker systemctl start docker & systemctl enable docker HA 离线安装离线HA安装负载均衡器配置在cloud-node1节点上运行 vi nginx.conf worker_processes 4; worker_rlimit_nofile 40000; events { worker_connections 8192; } stream { upstream rancher_servers_http { least_conn; server 10.122.4.44:80 max_fails=3 fail_timeout=5s; server 10.122.4.45:80 max_fails=3 fail_timeout=5s; server 10.122.4.46:80 max_fails=3 fail_timeout=5s; } server { listen 80; proxy_pass rancher_servers_http; } upstream rancher_servers_https { least_conn; server 10.122.4.44:443 max_fails=3 fail_timeout=5s; server 10.122.4.45:443 max_fails=3 fail_timeout=5s; server 10.122.4.46:443 max_fails=3 fail_timeout=5s; } server { listen 443; proxy_pass rancher_servers_https; } } 在自己的虚拟机中下载好nginx:1.14的image,导出后上传到cloud-node1并导入在虚拟中下载`docker pull nginx:1.14 ` 下载后导出 docker save -o nginx_1.14 nginx:1.14 将文件上传至cloud-node1中，并执行 docker load --input nginx_1.14 docker run -d --restart=unless-stopped -p 80:80 -p 443:443 -v /home/appuser/installs/nginx.conf:/etc/nginx/nginx.conf nginx:1.14 安装准备 RKE安装创建目录 mkdir -p /opt/rancher/cli && cd /opt/rancher/cli。下载并发传v0.2.7-rke_linux-amd64至该目录下 mv v0.2.7-rke_linux-amd64 rke chmod +x rke sudo mv rke /opt/rancher/cli echo "export PATH=/opt/rancher/cli:\$PATH" >> /etc/profile source /etc/profile rke --version 创建RKE配置文件vi rancher-cluster.yml 创建K8S集群rke up --config ./rancher-cluster.yml 因ssh免密配置使用的域名，而rancher-cluster.yml使用的是ip无法通过。故重新执行：ssh-copy-id -i ~/.ssh/id_rsa.pub appuser@10.122.44 #其他机器同

2019-08-07

SpringBoot基于数据库实现简单的分布式锁

本文介绍SpringBoot基于数据库实现简单的分布式锁。

2019-07-27

微服务生态：ShardingSphere 整合 Seata 分布式事务能力

四、ChaosBlade 项目动态和规划： 7月20号，Dubbo 开发者社区深圳站正在报名，ChaosBlade 项目负责人肖长军将分享《通过混沌工程构建高可用的分布式服务》。

2019-07-06

spring-boot使用tools-redis实现分布式缓存

1.在pom中配置 <dependency> <groupId>cn.gjing</groupId> <artifactId>tools-redis</artifactId> <version>1.0.0</version> </dependency> 2.在application.properties配置 #redis数据库链接配置 spring.redis.host=127.0.0.1 spring.redis.port=6379 spring.redis.password= spring.redis.database=0 3.在DemoApplic

2019-06-26

分布式数据库选型——数据水平拆分方案

概述水平拆分的概念随着分布式数据库的推广已为大部分人熟知。分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。

2019-06-18

阿里云分布式关系型数据库服务 DRDS

、高度扩展性的分布式关系型数据库系统。

2019-06-07

spring cloud微服务分布式云架构--hystrix的使用

hystrix主要作用在服务消费者，进行应用的保护，当请求的服务请求超时时，做出相应的处理，避免客户端一直进行请求等待，避免在高并发的情况出现服务器死机（请求过多，内存不足）接下来的通过一个案例对hystrix的使用进行说明，案例完成的功能：服务消费者根据Id调用服务提供者的接口，获取User表单的对应的记录，若请求超时则返回id为-1的User记录一、基于Ribbon <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/>  </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <java.version>1.8</java.version> <mybatis-spring-boot.version>1.2.0</mybatis-spring-boot.version> <mysql-connector.version>5.1.39</mysql-connector.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> <version>1.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-hystrix</artifactId> <version>1.3.5.RELEASE</version> </dependency> </dependencies> 2、application.yml server: port: 8089 spring: application: name: customer-user eureka: client: serviceUrl: defaultZone: http://user:zj123@localhost:8761/eureka instance: prefer-ip-address: true instance-id: ${spring.application.name}:${spring.cloud.client.ipAddress}:${spring.application.instance_id:${server.port}} provider-user: ribbon: NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule 3、Controller调用类 import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.PathVariable; import org.springframework.web.bind.annotation.RestController; import org.springframework.web.client.RestTemplate; import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand; import com.zhuojing.bean.User; @RestController public class UserController { @Autowired private RestTemplate restTemplate; @GetMapping(value="/simple/{id}",produces=MediaType.APPLICATION_JSON_VALUE+";charset=utf-8") @HystrixCommand(fallbackMethod = "findByIdFallback") public User findUserById(@PathVariable Long id){ //服务提供者地址 PROVIDER-USER return this.restTemplate.getForObject("http://PROVIDER-USER/simple/"+id, User.class); } /** * 断路器模式，当请求的消费者provider-user超时的情况下，就会直接调用此方法，此方法的参数和返回类型必须和findUserById方法一致，请求超时时间为1秒 * @param id * @return */ public User findByIdFallback(Long id){ User user = new User(); user.setId(0L); return user; } } hystrix的默认的超时时间为1秒，若自定hystrix超时时间有一下两种方式 a、@HystrixCommand注解配置 @HystrixCommand(fallbackMethod = "findByIdFallback",commandProperties = { @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds",value = "3000") }) b、在application.yml配置 hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds: 5000 4、启动类 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cloud.client.circuitbreaker.EnableCircuitBreaker; import org.springframework.cloud.client.loadbalancer.LoadBalanced; import org.springframework.cloud.netflix.eureka.EnableEurekaClient; import org.springframework.cloud.netflix.ribbon.RibbonClient; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.ComponentScan; import org.springframework.context.annotation.FilterType; import org.springframework.web.client.RestTemplate; @SpringBootApplication @EnableEurekaClient @EnableCircuitBreaker public class AppCusRibbonPropertiesTest { @Bean @LoadBalanced public RestTemplate restTemplate(){ return new RestTemplate(); } public static void main(String[] args) { SpringApplication.run(AppCusRibbonPropertiesTest.class, args); } } 二、dashboard的使用 1、pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/>  </parent> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-hystrix-dashboard</artifactId> <version>1.3.5.RELEASE</version> </dependency> </dependencies> 2、application.yml server: port: 8030 3、启动类 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cloud.netflix.hystrix.dashboard.EnableHystrixDashboard; @EnableHystrixDashboard @SpringBootApplication public class DashboardApplication { public static void main(String[] args) { SpringApplication.run(DashboardApplication.class, args); } } 启动后访问：http:/ /localhost:8030/hystrix 进入首页，在地址栏上输入http:/ /localhost:8089/hystrix.stream（hystrix.stream）进行监控，在使用了hystrix的服务调用后才有数据。三、Turbine的使用，Turbine是对微服务集群的监听 1、pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/>  </parent> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-turbine</artifactId> <version>1.3.5.RELEASE</version> </dependency> </dependencies> 2、application.yml server: port: 8031 spring: application: name: microservice-hystrix-turbine eureka: client: serviceUrl: defaultZone: http://user:zj123@localhost:8761/eureka instance: prefer-ip-address: true turbine: aggregator: clusterConfig: default #默认defualt，只有一个服务时候可以写服务名称的大写CUSTOMER-USER appConfig: customer-user clusterNameExpression: "'default'" 3、启动类 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cloud.netflix.turbine.EnableTurbine; @EnableTurbine @SpringBootApplication public class TurbineApplication { public static void main(String[] args) { SpringApplication.run(TurbineApplication.class, args); } } hystrix 主页面中将localhost:8031/turbine.stream?cluster=CUSTOMER-USER填入，便可进行数据的图像化。

2019-03-19

spring cloud微服务分布式云架构-Spring Cloud Netflix

通过几个简单的注释，您可以快速启用和配置应用程序中的常见模式，并通过经过测试的Netflix组件构建大型分布式系统。

2019-03-13

分布式事务中间件 Fescar—RM 模块源码解读

前言在SOA、微服务架构流行的年代，许多复杂业务上需要支持多资源占用场景，而在分布式系统中因为某个资源不足而导致其它资源占用回滚的系统设计一直是个难点。

2019-02-13

阿里开源分布式事务解决方案 Fescar 全解析

广为人知的阿里分布式事务解决方案：GTS（Global Transaction Service），已正式推出开源版本，取名为“Fescar”，希望帮助业界解决微服务架构下的分布式事务问题，今天我们一起来深入了解

2019-01-27

使用Apache Ignite构建C++版本的分布式应用

入门因为Ignite是一个分布式平台，所以开始就要先启动一个节点，这方面如果使用ignite::Ignition类是非常简单的：好了，在C++环境中已经使用默认的配置启动了第一个Ignite节点！

2019-01-27

百亿次的锤炼 - 地狱模式的分布式系统测试

本文以近期开源的Dragonboat多组Raft库为例，介绍Dragonboat这样一个典型分布式系统是如何做测试的。

2019-01-18

OceanBase迁移服务：向分布式架构升级的直接路径

随之诞生的是第二代架构，第二代架构的主体是OE——也就是Oracle和EMC，加上蚂蚁自身的分布式中间件，解决了业务的水平和垂直的弹性能力。这一代架构其实伴随着蚂蚁走了很多年。

2019-01-08

Java程序猿笔记——基于redis分布式锁实现“秒杀”

分布式锁恰好可以帮助我们解决这个问题。何为分布式锁 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。

2019-01-02

美团即时物流的分布式系统架构设计

即时物流系统阶段性的逐步实施分布式系统的架构升级，最终解决了系统宕机的风险。

2018-12-18

Kubernetes下一站，要做云的“分布式”Linux？

最好的类比是Kubernetes成为云的“分布式”Linux（或POSIX），因为用户只需要他们的工作负载在任何地方都可以运行，而无需针对每个Kubernetes环境测试他们的应用程序或来自独立软件供应商

2018-12-13

分布式架构实战--ActiveMQ的安装与使用（单节点）

具体内容请参考样例代码和视频教程： http://www.roncoo.com/course/view/85d6008fe77c4199b0cdd2885eaeee53 IP:192.168.4.101 环境：CentOS 6.6、JDK7 1、安装JDK并配置环境变量（略） JAVA_HOME=/usr/local/java/jdk1.7.0_72 2、下载Linux版的ActiveMQ（当前最新版apache-activemq-5.11.1-bin.tar.gz） $ wget http://apache.fayea.com/activemq/5.11.1/apache-activemq-5.11.1-bin.tar.gz 3、解压安装 $ tar -zxvf apache-activemq-5.11.1-bin.tar.gz $ mv apache-activemq-5.11.1 activemq-01 如果启动脚本activemq没有可执行权限，此时则需要授权（此步可选） $ cd /home/wusc/activemq-01/bin/ $ chmod 755 ./activemq 4、防火墙中打开对应的端口 ActiveMQ需要用到两个端口一个是消息通讯的端口（默认为61616）一个是管理控制台端口（默认为8161）可在conf/jetty.xml中修改，如下： <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">  <property name="host" value="0.0.0.0"/> <property name="port" value="8161"/> </bean> # vi /etc/sysconfig/iptables 添加： -A INPUT -m state --state NEW -m tcp -p tcp --dport 61616 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8161 -j ACCEPT 重启防火墙： # service iptables restart 5、启动 $ cd /home/wusc/activemq-01/bin $ ./activemq start 6、打开管理界面：http://192.168.4.101:8161 默认用户名和密码为：admin/admin 登录后进入 7、安全配置（消息安全） ActiveMQ如果不加入安全机制的话，任何人只要知道消息服务的具体地址(包括ip，端口，消息地址[队列或者主题地址]，)，都可以肆无忌惮的发送、接收消息。关于ActiveMQ安装配置http://activemq.apache.org/security.html ActiveMQ的消息安全配置策略有多种，我们以简单授权配置为例：在conf/activemq.xml文件中在broker标签最后加入以下内容即可： $ vi /home/wusc/activemq-01/conf/activemq.xml <plugins> <simpleAuthenticationPlugin> <users> <authenticationUser username="wusc" password="wusc.123" groups="users,admins"/> </users> </simpleAuthenticationPlugin> </plugins> 定义了一个wusc用户，密码为wusc.123，角色为users,admins 设置admin的用户名和密码: $ vi /home/wusc/activemq-01/conf/jetty.xml <bean id="securityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <property name="name" value="BASIC" /> <property name="roles" value="admin" /> <property name="authenticate" value="true" /> </bean> 确保authenticate的值为true（默认）控制台的登录用户名密码保存在conf/jetty-realm.properties文件中,内容如下: $ vi /home/wusc/activemq-01/conf/jetty-realm.properties # Defines users that can access the web (console, demo, etc.) # username: password [,rolename ...] admin: wusc.123, admin 注意:用户名和密码的格式是用户名 : 密码 ,角色名重启: $ /home/wusc/activemq-01/bin/activemq restart 设置开机启动： # vi /etc/rc.local 加入以下内容 ## ActiveMQ su - wusc -c '/home/wusc/activemq-01/bin/activemq start' 8、 MQ消息生产者也与消息消费者的Demo样例讲解与演示关注公众号：

2018-11-29

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。