搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

DCache 分布式存储系统｜List 缓存模块的创建与使用

系列文章：DCache 分布式存储系统｜安装部署与应用创建DCache 分布式存储系统｜Key-Value 缓存模块的创建与使用DCache 分布式存储系统｜K-K-Row 缓存模块的创建与使用 List

2021-03-11

分布式监控系统 WGCLOUD，新增支持32位操作系统

WGCLOUD，server端基于springboot开发，agent端使用go编写。支持高并发高性能，核心模块包括：主机监控，ES集群状态监控，CPU监控，CPU温度监控，内存监控，数据监控，docker监控，网络流量监控，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，端口监控，日志文件监控，监控告警信息（默认邮件，支持钉钉微信集成）推送。针对版本WGCLOUD-v3.3.0，新增了可以在32位系统运行的客户端agent版本，请在https://www.wgstart.com/help/docs15.html下载码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2021-03-09

微服务架构下分布式事务解决方案——阿里云GTS

分布式事务已经成为微服务落地最大的阻碍，也是最具挑战性的一个技术难题。为此，本文将深入和大家探讨微服务架构下，分布式事务的各种解决方案，并重点为大家解读阿里巴巴提出的分布式事务解决方案—-GTS。

2021-03-07

Piflow —— 基于分布式框架的大数据流水线系统

PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。

2021-02-14

请问你知道分布式系统设计模式的分割日志思想么？

分割日志（Segmented Log）将大文件切分为更容易处理的多个更小的文件。问题背景单一的日志文件可能会增长到很大，并且在程序启动时读取从而成为性能瓶颈。老的日志需要定时清理，但是对于一个大文件进行清理操作很费劲。解决方案将单一日志切分为多个，日志在达到一定大小时，会切换到新文件继续写。 //写入日志 public Long writeEntry(WALEntry entry) { //判断是否需要另起新文件 maybeRoll(); //写入文件 return openSegment.writeEntry(entry); } private void maybeRoll() { //如果当前文件大小超过最大日志文件大小 if (openSegment. size() >= config.getMaxLogSize()) { //强制刷盘 openSegment.flush(); //存入保存好的排序好的老日志文件列表 sortedSavedSegments.add(openSegment); //获取文件最后一个日志id long lastId = openSegment.getLastLogEntryId(); //根据日志id，另起一个新文件，打开 openSegment = WALSegment.open(lastId, config.getWalDir()); } } 如果日志做了切分，那么需要快速以某个日志位置（或者日志序列号）定位到某个文件的机制。可以通过两种方式实现：每一个日志切分文件的名称都是包含特定开头以及日志位置偏移量（或者日志序列号）每一个日志序列号包含文件名称以及 transaction 偏移。 //创建文件名称 public static String createFileName(Long startIndex) { //特定日志前缀_起始位置_日志后缀 return logPrefix + "_" + startIndex + "_" + logSuffix; } //从文件名称中提取日志偏移量 public static Long getBaseOffsetFromFileName(String fileName) { String[] nameAndSuffix = fileName.split(logSuffix); String[] prefixAndOffset = nameAndSuffix[0].split("_"); if (prefixAndOffset[0].equals(logPrefix)) return Long.parseLong(prefixAndOffset[1]); return -1l; } 在文件名包含这种信息之后，读操作就分为两步：给定一个偏移（或者 transaction id），获取到大于这个偏移日志所在文件从文件中读取所有大于这个偏移的日志 //给定偏移量，读取所有日志 public List<WALEntry> readFrom(Long startIndex) { List<WALSegment> segments = getAllSegmentsContainingLogGreaterThan(startIndex); return readWalEntriesFrom(startIndex, segments); } //给定偏移量，获取所有包含大于这个偏移量的日志文件 private List<WALSegment> getAllSegmentsContainingLogGreaterThan(Long startIndex) { List<WALSegment> segments = new ArrayList<>(); //Start from the last segment to the first segment with starting offset less than startIndex //This will get all the segments which have log entries more than the startIndex for (int i = sortedSavedSegments.size() - 1; i >= 0; i--) { WALSegment walSegment = sortedSavedSegments.get(i); segments.add(walSegment); if (walSegment.getBaseOffset() <= startIndex) { break; // break for the first segment with baseoffset less than startIndex } } if (openSegment.getBaseOffset() <= startIndex) { segments.add(openSegment); } return segments; } 举例基本所有主流 MQ 的存储，例如 RocketMQ，Kafka 还有 Pulsar 的底层存储 BookKeeper，都运用了分段日志。 RocketMQ： Kafka： Pulsar存储实现BookKeeper：另外，基于一致性协议 Paxos 或者 Raft 的存储，一般会采用分段日志，例如 Zookeeper 以及 TiDB。每日一刷，轻松提升技术，斩获各种offer：

2021-02-11

分布式监控系统 WGCLOUD 开源协议变更为 Apache2.0

WGCLOUD，server端基于springboot开发，agent端使用go编写。支持高并发高性能，核心模块包括：主机监控，ES集群状态监控，CPU监控，CPU温度监控，内存监控，数据监控，docker监控，网络流量监控，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，端口监控，日志文件监控，监控告警信息（默认邮件，支持钉钉微信集成）推送。 WGCLOUD一直在开源生态做努力，尽管比较艰难。有很多朋友觉得之前的开源协议GPL3.0不太友好，对商业不友好，在经过长时间的思索后，我们决定改为Apache2.0协议继续开源，希望大家一如既往支持，感谢。码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2021-02-05

分布式监控系统 WGCLOUD，v3.2.9 大屏展板 bug 修复

WGCLOUD，server端基于springboot开发，agent端使用go编写。支持高并发高性能，核心模块包括：主机监控，ES集群状态监控，CPU监控，CPU温度监控，内存监控，数据监控，docker监控，网络流量监控，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，端口监控，日志文件监控，监控告警信息（默认邮件，支持钉钉微信ji'c）推送。大屏展板bug修复说明： 1.修复主机类型柱状图，redhat字符串显示不全的问题 2.修复配置文件里，自定义logo和ico描述路径错误的问题，如自定义logo图片文件应存在server/logo下，不是server/images 码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2020-12-21

图文存储常识：单机、集中、分布式、云、云原生存储

背景本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理，意在构建出存储发展基本轨迹和一些基本常识，让更多像我一样的初入者有个宏观上的认知

2020-12-18

图解Janusgraph系列-并发安全：锁机制（本地锁+分布式锁）分析

分布式锁！

2020-12-17

分布式系统：数据一致性解决方案

在分布式系统中，随着系统架构演进，原来的原子性操作会随着系统拆分而无法保障原子性从而产生一致性问题，但业务实际又需要保障一致性，下面我从学习和实战运用总结一下分布式一致性解决方案。 1.

2020-12-14

open-monitor 1.7.0 版本发布，基于 Prometheus 的分布式监控平台

open-monitor是一套基于Prometheus的分布式监控平台，适用于wecube，WeCube通过监控插件来对资源以及应用的监控及告警。

2020-12-03

分布式系统如何实现链路追踪？

链路追踪是分布式系统下的一个概念，它的目的就是要解决上面所提出的问题，也就是将一次分布式请求还原成调用链路，将一次分布式请求的调用情况集中展示，比如，各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等

2020-11-17

13张图彻底搞懂分布式系统服务注册与发现原理

在微服务架构或分布式环境下，服务注册与发现技术不可或缺，这也是程序员进阶之路必须要掌握的核心技术之一，本文通过图解的方式带领大家轻轻松松掌握。

2020-11-02

基于 Prometheus 的分布式监控平台 open-monitor 1.7.1 发布啦！

open-monitor简介 open-monitor是一套基于Prometheus的分布式监控平台，适用于wecube，WeCube通过监控插件来对资源以及应用的监控及告警。

2020-09-08

分布式事务 Key-Value 数据库 TiKV 从 CNCF 毕业

TiKV 是一个 Rust 编写而成的分布式事务 Key-Value 数据库，支持跨行 ACID 事务，同时实现了自动水平伸缩、数据强一致性、跨数据中心高可用和云原生等重要特性，是下一代云原生基础架构的理想数据库

2020-09-04

我司用了7年的分布式锁方案...

在单体应用时代，我们使用jvm提供的锁就可以很好的工作，但是到了分布式应用时代，jvm提供的锁就行不通了，那么势必要借助一些跨jvm的临界资源来支持锁的相关语义，比如redis，zookeeper等。

2020-08-21

云计算会给分布式存储带来什么新的的影响

集成分布式存储服务器和区块链技术，构建可信的共享计算生态系统。分布式存储服务器通常由P2P计算网络、信用评级系统、计算交易系统和任务计算执行系统组成。

2020-08-06

网易分布式存储项目 Curve 专访：凭什么比 Ceph 提升 84%？

在开源领域，目前比较主流的开源分布式存储系统无疑是 Linux 基金会旗下的 Ceph。

2020-08-01

分布式ID生成服务，真的有必要搞一个

以上的方式各自有各自的问题，因此我们决定实现一套分布式 ID 生成服务来满足需求。

2020-07-22

分布式架构设计篇(八)-柔性事务之TCC详解

- 起源 - TCC概念由Pat Helland于2007年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出, 在该论文中，TCC还是以Tentative-Confirmation-Cancellation命名。正式以Try-Confirm-Cancel作为名称的是Atomikos公司，并且还注册了TCC商标。国内最早可查引进TCC概念，应是阿里程立2008年在软件开发2.0大会上分享主题《大规模SOA系统中的分布事务处理》中。 Atomikos公司在商业版本事务管理器ExtremeTransactions中提供了TCC方案的实现，但是由于其是收费的，因此相应的很多的开源实现方案也就涌现出来，如：ByteTCC、Himly、TCC-transaction。但是笔者都不推荐使用，下文会详细说明。 - 组成 - TCC 是一种补偿型事务，该模型要求应用的每个服务提供 try、confirm、cancel 三个接口，它的核心思想是通过对资源的预留(提供中间态，如账户状态、冻结金额等)，尽早释放对资源的加锁，如果事务可以提交，则完成对预留资源的确认，如果事务要回滚，则释放预留的资源。 TCC模型完全交由业务实现，每个子业务都需要实现Try-Confirm-Cancel三个接口，对业务侵入大，资源锁定交由业务方。 Try：尝试执行业务，完成所有业务检查(一致性)，预留必要的业务资源(准隔离性)。 Confirm：确认执行业务，不再做业务检查。只使用Try阶段预留的业务资源，Confirm操作满足幂等性。 Cancel：取消执行业务释放Try阶段预留业务资源。一个完整的业务活动由一个主业务服务与若干子业务服务组成：主业务服务负责发起并完成整个业务活动业务服务提供TCC型业务操作。业务活动管理器控制业务活动的一致性，它登记业务活动中的操作，并在业务活动提交时确认所有的TCC型操作的Confirm操作，在业务活动取消时调用所有TCC型操作的Cancel操作。成本：实现TCC操作的成本业务活动结束时Confirm或Cancel操作的执行成本。在Confirm和Cancel范围内的操作成功性需要框架来保证，只能一直重试保证资源被消耗或者释放。业务活动日志成本适用范围：强隔离性、严格一致性要求的业务活动适用于执行时间较短的业务 - TCC与2PC对比 - TCC将事务提交划分成两个阶段，Try即为一阶段，Confirm 和 Cancel 是二阶段并行的两个分支，二选一。从阶段划分上非常像2PC，我们是否可以说TCC是一种2PC或者2PC变种呢？其实不可以，原因如下： 2PC的操作对象在于资源层，对于开发人员无感知；而TCC的操作在于业务层，具有较高开发成本。 2PC是一个整体的长事务，也是刚性事务；而TCC是一组的本地短事务，是柔性事务。 2PC的Prepare(表决阶段)进行了操作表决；而TCC的try并没有表决准备，直接兼备资源操作与准备能力 2PC是全局锁定资源，所有参与者阻塞交互等待TM通知；而TCC的资源锁定在于Try操作，业务方可以灵活选择业务资源的锁定粒度。 - TCC注意事项 - TCC为了解决网络不可靠引起的异常情况，要求业务方在设计上要遵循三个策略：允许空回滚：原因是异常发生在阶段一时，部分参与方没有收到 Try 请求从而触发整个事务的Cancel 操作；Try 失败或者没有执行 Try 操作的参与方收到 Cancel 请求时，要进行空回滚操作。保持幂等性：原因是异常发生在阶段二时，比如网络超时，则会重复调用参与方的 Confirm/Cancel 方法，因此Confirm/Cancel方法必须保证幂等性。防止资源悬挂：原因网络异常导致两个阶段无法保证严格的顺序执行，出现参与方侧 Try 请求比 Cancel 请求更晚到达的情况，Cancel 会执行空回滚而确保事务的正确性，但是此时 Try 方法也不可以再被执行。 - 案例 - 汇款服务、收款服务案例：A用户向B用户汇款500元。 - 总结 - 因为TCC对业务的强侵入性，使用成本非常昂贵，虽然提供了更灵活的资源锁粒度，对标2PC拥有更高的吞吐量。但是相对于2PC的强一致性来说，TCC的实施成本和数据一致性的牺牲带来的相对高吞吐量，总体表现出来的性价比非常低，反而在市面上成熟的大型企业中几乎没有使用。 - 作者介绍 - 孙玄毕业于浙江大学，奈学教育创始人兼CEO，前转转公司技术委员会主席，前58集团技术委员会主席，前百度资深研发工程师，腾讯云TVP，阿里云MVP，在线直播大课《百万架构师》品牌创始人。林淮川毕业于西安交通大学；奈学教育《百万架构师训练营》讲师及企业级源码内源负责人，前大树金融高级架构师；前大树金融技术委员会开创者；前大树金融供应链金融技术总监；前天阳宏业交易事业部技术主管；多年互联网金融行业（ToB）经验。

2020-07-21

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。