搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

你只是做了个比单体还糟糕的分布式单体！

发现一个很有意思的名词“分布式单体”，顺藤摸瓜看了一下之前的聊天记录，由于内容骂骂咧咧，我就不贴出来了。。。

2021-03-12

MongoDB统一分布式数据源，云数据库支持数据湖和搜索功能

即将开播：6月19日，互联网银行架构师魏生谈互联网开放银行实施路径的探索与思考即将开播：4月29日，民生银行郭庆谈商业银行金融科技赋能的探索与实践--> 分布式文件存储数据库MongoDB发布了新版本

2020-06-11

利用java反射和java-parser制作可以迭代、分布式、全栈式代码生成器的研究

b) 在分布式系统中，迭代导致的字段改变，往往只牵涉到上游代码和下游代码，转换器导致不涉及业务的中间代码必须做相应的更改，往往导致意外bug,容易引起一系列的发布工作。

2019-09-28

Hadoop大数据平台环境搭建注意事项，波若分布式数据采集工具功能剖析，数道云

Hadoop大数据作为时代发展的产物，影响着互联网企业发展、以及企业关于品牌形象推广、政府有关民意采集、以及有关数据信息收集分类……………… Hadoop技术的发展，带来了海量数据高效处理的能力，也给互联网政企、高校的发展带来了突破性的发展。互联网的数据容量巨大，以10-100GB或更多，数据种类多种多样。如何利用Hadoop大数据平台实现大数据的快捷处理呢？以及Hadoop环境搭建注意事项分析。 Hadoop大数据平台选择注意事项： 1.环境的部署和搭建前期准备：网络环境的搭建、Hadoop环境的部署、需要下载或者安装的Hadoop程序、虚拟机、java JDK环境部署…… 2.集群环境部署（1）电脑配置（适用于多少台虚拟机同时上线）（2）什么样的虚拟机适用于Hadoop集群环境使用（3）关于大数据平台搭建系统的选择及使用（4）了解熟悉安装过程（5）选择适合的安装模式 3.产品的使用及操作（1）登录管理界面（2）启动安装导向（3）设置集群名称（4）安装选项，输入集群节点主机名列表（5）根据需求，选择相对应的服务项目（6）根据步骤，如果有需要，可以进行定制开发选项（7）安装完成（8）功能使用测试

2019-05-16

java版b2b2c社交电商spring cloud分布式微服务-服务提供与调用

上一篇文章我们介绍了eureka服务注册中心的搭建，这篇文章介绍一下如何使用eureka服务注册中心，搭建一个简单的服务端注册服务，客户端去调用服务使用的案例。案例中有三个角色：服务注册中心、服务提供者、服务消费者，其中服务注册中心就是我们上一篇的eureka单机版启动既可，流程是首先启动注册中心，服务提供者生产服务并注册到服务中心中，消费者从服务中心中获取服务并执行。服务提供我们假设服务提供者有一个hello方法，可以根据传入的参数，提供输出“hello xxx，this is first messge”的服务 1、pom包配置创建一个springboot项目，pom.xml中添加如下配置： <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> 2、配置文件 application.properties配置如下： spring.application.name=spring-cloud-producer server.port=9000 eureka.client.serviceUrl.defaultZone=http://localhost:8000/eureka/ 参数在上一篇都已经解释过，这里不多说。 3、启动类启动类中添加@EnableDiscoveryClient注解 @SpringBootApplication @EnableDiscoveryClient public class ProducerApplication { public static void main(String[] args) { SpringApplication.run(ProducerApplication.class, args); } } 4、controller 提供hello服务 @RestController public class HelloController { @RequestMapping("/hello") public String index(@RequestParam String name) { return "hello "+name+"，this is first messge"; } } 添加@EnableDiscoveryClient注解后，项目就具有了服务注册的功能。启动工程后，就可以在注册中心的页面看到SPRING-CLOUD-PRODUCER服务。到此服务提供者配置就完成了。服务调用 1、pom包配置和服务提供者一致 <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> 2、配置文件 application.properties配置如下： spring.application.name=spring-cloud-consumer server.port=9001 eureka.client.serviceUrl.defaultZone=http://localhost:8000/eureka/ 3、启动类启动类添加@EnableDiscoveryClient和@EnableFeignClients注解。 @SpringBootApplication @EnableDiscoveryClient @EnableFeignClients public class ConsumerApplication { public static void main(String[] args) { SpringApplication.run(ConsumerApplication.class, args); } } @EnableDiscoveryClient`:启用服务注册与发现 @EnableFeignClients`：启用feign进行远程调用 Feign是一个声明式Web Service客户端。使用Feign能让编写Web Service客户端更加简单, 它的使用方法是定义一个接口，然后在上面添加注解，同时也支持JAX-RS标准的注解。Feign也支持可拔插式的编码器和解码器。Spring Cloud对Feign进行了封装，使其支持了Spring MVC标准注解和HttpMessageConverters。Feign可以与Eureka和Ribbon组合使用以支持负载均衡。 4、feign调用实现 @FeignClient(name= "spring-cloud-producer") public interface HelloRemote { @RequestMapping(value = "/hello") public String hello(@RequestParam(value = "name") String name); } name:远程服务名，及spring.application.name配置的名称此类中的方法和远程服务中contoller中的方法名和参数需保持一致。 5、web层调用远程服务将HelloRemote注入到controller层，像普通方法一样去调用即可。 @RestController public class ConsumerController { @Autowired HelloRemote HelloRemote; @RequestMapping("/hello/{name}") public String index(@PathVariable("name") String name) { return HelloRemote.hello(name); } } 到此，最简单的一个服务注册与调用的例子就完成了。测试简单调用依次启动spring-cloud-eureka、spring-cloud-producer、spring-cloud-consumer三个项目先输入：http://localhost:9000/hello?name=neo检查spring-cloud-producer服务是否正常返回：hello neo，this is first messge 说明spring-cloud-producer正常启动，提供的服务也正常。浏览器中输入：http://localhost:9001/hello/neo 返回：hello neo，this is first messge 说明客户端已经成功的通过feign调用了远程服务hello，并且将结果返回到了浏览器。

2019-05-05

Twitter的分布式雪花算法 SnowFlake 每秒自增生成26个万个可排序的ID (Java版)

分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。

2018-11-24

spring cloud互联网分布式微服务云平台规划分析--spring cloud系统管理平台

1.介绍鸿鹄云架构【系统管理平台】是一个大型企业、分布式、微服务、云架构的JavaEE体系快速研发平台，基于模块化、微服务化、原子化、热部署的设计思想，使用成熟领先的无商业限制的主流开源技术构建。

2018-11-21

spring cloud互联网分布式微服务云平台规划分析--spring cloud服务统一配置中心

1.介绍鸿鹄云架构【服务统一配置中心】为分布式系统中的外部配置提供服务器和客户端支持。使用commonservice-config，可以在所有环境中管理应用程序的外部属性。

2018-11-19

首个由国内发起的分布式消息领域的国际标准OpenMessaging一周年回顾

OpenMessaging开源标准社区，并承诺将与OpenMessaging开源标准社区共同努力营造良好的开源环境，打造厂商中立，面向 Cloud Native ，同时对流计算以及大数据生态友好的下一代分布式消息标准

2018-11-18

（一）spring cloud互联网分布式微服务云平台规划分析--spring cloud平台整体规划

产品平台规划微服务注册中心（分布式集群部署）、微服务配置中心（分布式集群部署）、服务网关平台（分布式集群部署）、微服务监控平台、SSO单点登录平台（分布式集群部署）、微服务相关组件（分布式集群部署）

2018-11-18

蚂蚁金服十年自研分布式中间件，成就世界级新金融科技平台

创造了中国自己的数据库OceanBase》，这篇故事用两万多字的篇幅为大家讲述了蚂蚁金服完全自主可控的中国自研分布式关系型数据库OceanBase背后的研发故事，受到了大家的热切关注。

2018-07-25

腾讯资深架构师干货总结：一文读懂大型分布式系统设计的方方面面

所谓的负载均衡，就是分布式系统与生俱来需要完成的功课。由于分布式系统，几乎是解决互联网业务承载量问题，的最基本方法，所以作为一个服务器端程序员，掌握分布式系统技术就变得异常重要了。

2018-07-24

开源 | 蚂蚁金服分布式中间件开源第三弹: 下一代微服务SOFAMesh

小蚂蚁说： 4月，蚂蚁金服自主研发的分布式中间件（Scalable Open Financial Architecture，以下简称 SOFA ）启动开源计划，并开放多个组件，（相关背景请点击链接阅读《

2018-07-15

2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫，包教包会

阿里云大学在线工作坊上线，原理精讲+实操演练，让你真正掌握云计算、大数据技能。在第一批上线的课程中，有一个Python爬虫的课程，畅销书《精通Python网络爬虫》作者韦玮，带你两个月从入门到精通。爬虫有什么用呢？你要找工作，想知道哪个岗位当前最热门，爬取分析一下招聘网站的岗位信息便知一二；世界杯球迷分布情况，爬取分析一下淘宝各球队球衣销量，或者相关论坛或贴吧的一些数据即可；想知道知乎大神们关注领域情况，可以爬取分析一下大神们的回答； …… 有了数据才能做数据分析，互联网为你提供了海量的数据来源，就看你有没有水平获得这些数据。Python是实现爬虫最佳的选择，几行代码就能实现基本的爬虫，学习简单且很容易获得更大成就感。爬虫技术是入门Python最好的方式（没有之一），也是大数据分析、机器学习的基础，掌握基本的爬虫后，再去学习其他

2018-06-26

北京云栖大会Tech Insight Workshop：《使用微服务框架快速构建一个分布式交易系统》篇

背景介绍本篇是北京云栖大会Tech Insight Workshop金融云主体《使用SOFA来快速构建金融级分布式交易系统》中的一个组成部分，用来介绍如何通过SOFA Boot来快速构建一个分布式微服务系统

2017-12-15

ElasticSearch Shard——本质上是做分布式扩展，副本对于集群的稳定性有很强的影响

什么是一个Shard？ Shard就是一个Lucene Index，参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard？回答这个问题，我们需要先谈谈节点，一个集群有多个节点，具体需要多少个节点合适，是另外一个问题，但是这个数字也会影响我们对Shard数的设置。 Shard数＝ Node数？总体上说，当我们节点数和Shard数相等时，ElasticSearch集群的性能可以达到最优。即，对于一个3节点集群，我们为每个集群节点分配一个Shard，总共3个Shard。但是由于ElasticSearch的不可变性（Immutable）的限制，系统无法对Shard进行重新拆分分配，除非重新索引这个文件集合。所以，当我们需要增加更多节点的时候，又希望Shard能利用到增加节点带来的系统性能提升时，我们就不得不进行重新索引，由于重索引开销巨大，这是我们不希望看到的。 StackExchange用ElasticSearch支持它的搜索，当前（2016-3-1日），它网站的ElasticSearch索引占用440GB。如果需要重新建立索引，将会是一个巨大的开销，为了支持未来可能的水平扩展，我们会为集群分配比node数更多的shard数，也就是说每个节点会有多个Shard。如果单个node分配多个shard，就会引入另外一系列的性能问题，我们知道对于任意一次完整的搜索，ElasticSearch会分别对每个shard进行查询，最后进行汇总。当节点数和shard数是一对一的时候，所有的查询可以并行运行。但是，对于具有多个shard的节点，如果磁盘是15000RPM或SSD，可能会相对较快，但是这也会存在等待响应的问题，所以通常不推荐一个节点超过2个shard。 3节点6shard，即每个节点2shard，这可以使我们在未来轻松的横向扩展到6个节点，应对许多极端的场景。 Replicas数呢？ Replica也是Shard，与shard不同的是，replica只会参与读操作，同时也能提高集群的可用性。对于Replica来说，它的主要作用就是提高集群错误恢复的能力，所以replica的数目与shard的数目以及node的数目相关，与shard不同的是，replica的数目可以在集群建立之后变更，切代价较小，所以相比shard的数目而言，没有那么重要。 Replica的故事（宕机） 3 node, 3 shard, 0 replica 一个节点宕机整个服务不可用 3 node, 3 shard, 1 replica (each) 一个节点宕机两个节点宕机服务仍然可用 3 node, 3 shard, 2 replica (each) 当存储费用较低时，可以考虑摘自：http://www.cnblogs.com/richaaaard/p/5231905.html 本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/7454214.html，如需转载请自行联系原作者

2017-11-07

《Spark大数据处理：技术、应用与性能优化》——1.4 Spark分布式架构与单机多核架构的异同

1.4 Spark分布式架构与单机多核架构的异同我们通常所说的分布式系统主要指的是分布式软件系统，它是在通信网络互连的多处理机的架构上执行任务的软件系统，包括分布式操作系统、分布式程序设计语言、分布式文件系统和分布式数据库系统等

2017-07-02

基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装

写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境： CentOS 6.5，Hadoop 2.7，Java 1.7

2016-07-27

华为云GaussDB(for openGauss)：破解行业痛点，助力华为消费者云数据库分布式云化改造

华为云基于openGauss开源内核打造了GaussDB(for openGauss)分布式数据库，帮助华为消费者云完美解决了数据库在线弹性扩展、容灾备份、完备的关系型数据库特性、数据强一致等方面的难题

2022-01-05

SOFAStack 背后的实践和思考｜新一代分布式云 PaaS 平台，打造企业上云新体验

值得关注的是，随着基础设施的复杂度越来越高，也为整个基础设施的统一资源调度带来了极大挑战。在越来越复杂的异构基础设施上，存量应用和增量应用应该如何上云？

2021-12-23

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。