搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

高性能分布式文件系统 FastCFS V2.3.0 发布

FastCFS V2.3.0发布，主要改进如下： 1. auth server以主备方式支持多节点，避免单点； 2. leader/master选举/切换引入超时机制，选举时长可控； 3. 网络通信相关改进： 1）握手失败，server端主动断开连接； 2）cluster内部通信server端超时控制； 3）调整网络通信超时默认值（连接超时由10秒调整为2秒，收发数据超时由30秒调整为10秒）。另配置文件中的 section name统一用减号分隔，例如：[pool-generate]

2021-07-08

zorm 1.5.0 发布，新增支持 CK，零侵入分布式事务

zorm是go(golang)轻量级ORM,零依赖,零侵入分布式事务,支持达梦(dm),金仓(kingbase),神通(shentong),南大通用(gbase),mysql,postgresql,oracle

2021-07-07

Zadig V1.1.0 发布，开源分布式持续交付产品

Zadig V1.1.0 已发布，Zadig 是一款面向开发者设计的云原生持续交付 (Continuous Delivery) 产品，具备高可用 CI/CD 能力，提供云原生运行环境，支持开发者本地联调、微服务并行构建和部署、集成测试等。Zadig 不改变现有流程，无缝集成 GitHub/GitLab、Jenkins、多家云厂商等，运维成本极低。 Zadig V1.1.0 新增功能跨项目级别的测试管理模块，不仅支持独立运行测试、并行执行测试、测试分析，同时工作流也支持挂接测试功能，让构建、部署和测试进行联动，方便用户定义更强大的工作流。与此同时，系统设置中新增了自定义构建镜像功能，在构建和测试过程中，除了可以选择系统默认提供的构建镜像之外，也支持使用自定义镜像。优化了 GitHub 的集成方式，在原有支持 Organization 账户代码库的基础上，新增了对个人账户的支持，方便开发者集成个人账户到系统中。此外，根据开发团队的介绍，通过严格的兼容性测试，相比于之前的版本，新版本提升了安装成功率。目前支持 3 种安装方式（All In One、Kubernetes 、Helm）。下一版功能规划开发团队将陆续推出 Helm、云主机等持续交付场景的支持，详情请见Zadig Roadmap：https://docs.koderover.com/zadig/pages/d6e5b1

2021-06-27

Gitee 新晋 GVP：高性能分布式文件系统 FastCFS

代码拉取完成，页面将自动刷新

2021-06-22

带你认识大模型训练关键算法：分布式训练Allreduce算法

摘要：现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。本文分享自华为云社区《分布式训练Allreduce算法》，原文作者：我抽签必中。

2021-06-02

高性能分布式文件系统 FastCFS V2.1.0 发布

FastCFS V2.1.0 发布，主要改进： 1. 程序启动时加载slice索引拆分为两个阶段，均改造成多线程方式，缩短服务就绪时间 2. 服务端程序和fuse客户端支持命令行参数： 1）fuse客户端配合对接K8s，支持 --user、--key、--mountpoint等5个选项； 2）server端程序和fuse客户端支持 -V（--version）和 -h（--help）选项； 3）fs_serverd和 fdir_serverd支持选项--force-leader-election/--force-master-election，用于强制leader/master选举。 3. 提供精简版的配置文件 4. 基础库libfastcommon使用 libcurl获取URL资源 5. 其他改进和bug修复： 1）提供服务是否就绪命令行工具 fcfs_active_test 2）为集群运维脚本提供命令行工具 fauth_list_servers、fdir_list_servers和fstore_list_servers 3）对于 fdir server 和 fstore server，admin的密钥文件不存在也可以正常启动（不强依赖密钥文件） 4）开启权限认证特性后，df 看到的是存储池空间使用情况 5）当Linux kernel版本小于4.2时，忽略FUSE配置的clone_fd选项项目地址：https://gitee.com/fastdfs100/FastCFS，欢迎大家测试和使用。另，集群运维工具和k8s CSI驱动即将发布，敬请期待。

2021-05-31

Ceph 15.2.13 Octopus 发布，可扩展的分布式存储系统

Ceph 15.2.13 正式发布，这是 Octopus 系列的第 13 个 backport 版本。值得关注的变化： RADOS：能够在监视器中动态调整修剪率，并修复了其他的一些错误。更新日志： blk/kernel：修复 io_uring got (4) 中断的系统调用； ceph.spec.in：在 IBM Power 和 Z 上启用 tcmalloc； cephadm ls在 SUSE 下游的 alertmanager 容器中被破坏； cephadm：允许在所有 <_devices> drivegroup 部分使用路径； cephadm：在 systemd 单元中添加 docker.service 依赖； cephadm：允许在容器运行时重新部署处于错误状态的守护进程； cephadm：修正使用 -apply-spec 和 -shh-user 时的失败； cephadm：使用init运行容器； cephfs：客户端：只检查常规文件的池权限； cephfs：客户端：唤醒 front pos waiter；客户端：在缓冲区被刷新后启动 finish_cap_snap()； cmake：全局定义 BOOST_ASIO_USE_TS_EXECUTOR_AS_DEFAULT； …… 更多详情可查看：https://ceph.io/releases/v15-2-13-octopus-released/

2021-05-27

Apache Pulsar 2.7.2 发布，云原生分布式消息流平台

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性

2021-05-24

分布式锁如何实现业务幂等？

1|0前言现如今很多系统都会基于分布式或微服务思想完成对系统的架构设计。那么在这一个系统中，就会存在若干个微服务，而且服务间也会产生相互通信调用。

2021-05-24

roncoo-education 9.0.0 发布，分布式在线教育开源系统

领课教育系统（roncoo-education）是基于领课网络多年的在线教育平台开发和运营经验打造出来的产品，致力于打造一个各行业都适用的分布式在线教育系统。

2021-05-22

高性能分布式文件系统 FastCFS V2.0.1 发布

FastCFS V2.0.1发布，主要改进如下： 1. 确保顺序写盘，调用writev实现批量写； 2. 设置线程名称用于性能调优； 3. 将配置文件servers.conf合并到cluster.conf； 4. 修复4个bug： 1）解决磁盘空间统计不准的问题； 2）修改skiplist实例创建方式，确保线程安全； 3）修复current_size整数溢出问题； 4）修复数据分组序号计算错误（没有减去基数）。 gitee项目地址：https://gitee.com/fastdfs100/FastCFS，FastCFS支持一键部署单机环境，欢迎体验。

2021-05-14

分布式数据库 ZNBase 公布 2021 发展规划

ZNBase 是浪潮开源的一款 NewSQL 分布式数据库，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，支持完整 ACID，支持 PostgreSQL 协议访问，同时提供自动化运维

2021-05-10

分布式监控系统 WGCLOUD v3.3.1 发布，性能提升 20%

WGCLOUD，server端基于springboot开发，agent端使用go编写。支持高并发高性能，核心模块包括：主机监控，ES集群管理，CPU监控，CPU温度监控，内存监控，数据监控，docker监控，网络流量监控，服务接口心跳检测，应用进程管理，磁盘IO监控，系统负载监控，端口监控，大屏可视化，日志文件监控，硬盘smart健康检测，监控告警信息（默认邮件，支持钉钉微信集成）推送。另外我们计划在下个版本集成堡垒机能力，目前处于计划调研中。码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2021-03-31

实战案例丨分布式系统中如何用python实现Paxos

摘要：提到分布式算法，就不得不提 Paxos 算法，在过去几十年里，它基本上是分布式共识的代名词，因为当前最常用的一批共识算法都是基于它改进的。

2021-03-29

Apache Pulsar 2.7.1 发布，云原生分布式消息流平台

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制

2021-03-23

一文读懂 SuperEdge 分布式健康检查 (边端)

同时SuperEdge设计了分布式健康检查机制规避了云边网络不稳定造成的大量pod迁移和重建，保证了服务的稳定。

2021-03-22

微服务架构Day21-SpringCloud之分布式配置中心

SpringCloud Config SpringCloud整合了微服务中的整体解决方案:分布式配置中心,分布式锁,分布式任务调度平台,分布式事务,分布式日志收集产生背景:在微服务中如果使用传统的方式管理配置文件

2021-03-16

分布式定时任务了解一下

dq 简介 dq 封装底层 beanstalkd 操作，分布式存储，延迟、定时设置。重启服务可以重新执行，但是消息不会丢失，因为消息的处理都交由 beanstalkd 完成。

2021-03-08

redis 分布式锁的 5个坑，真是又大又深

由于是做商城业务，要频繁的对商品库存进行扣减，应用是集群部署，为避免并发造成库存超买超卖等问题，采用redis分布式锁加以控制。

2021-03-05

冷饭新炒：理解Redisson中分布式锁的实现

前提在很早很早之前，写过一篇文章介绍过Redis中的red lock的实现，但是在生产环境中，笔者所负责的项目使用的分布式锁组件一直是Redisson。

2021-01-11

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。