搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

hadoop分布式安装

分布式安装(至少三台主机)：环境所需软件： CentOS7 hadoop-2.7.3.tar.gz jdk-8u102-linux-x64.tar.gz 安装前准备工作：修改 /etc/hosts

2017-11-11

分布式全局锁

Distlock 参考文档：http://redis.io/topics/distlock 分布式全局锁用在：分布式定时任务（执行前取锁），问医生（医生回答问题前取锁）设计原理：使用redisSET

2017-11-08

分布式测试执行

Hadoop分布式测试执行方案正是为了解决以上问题而产生，通过分布式执行，可以达到并行运行，提高执行效率的目的；另外，hadoop提供调度，重试等机制功能，可以提供给用户一个相对透明的计算资源池，减少用户对机器运行环境的依赖

2017-07-02

hadoop分布式部署

当然你也可以将 namenode ,datanode ,jobtracker,tasktracker 全部部署在一台机器上（这样就是伪分布式）。

2017-06-01

分布式共享锁

11.1 需求描述在我们自己的分布式业务系统中，可能会存在某种资源，需要被整个系统的各台服务器共享访问，但是只允许一台服务器同时访问 11.2 设计思路 11.3 代码开发 public class

2017-01-11

其实我就是要让数据存储在hdfs上而已。。。。。。。。多配置点东西就好了，在hbase-site.xml中加入: <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://yangsy132:9000/user/hive/warehouse/</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper-3.4.6/data</value> </property> </configuration> 然后启动hbase即可，但我发现查询时报错啊。。报错信息被刷掉了- -大概错误是： ERROR:org.apache.hadoop.hbase.PleaseHoldException:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing 修改 vi /etc/host中如果IP地址为127.0.1.1或:1 则改为127.0.0.1 重启即可重启后又发现继续报错啊。。。错误信息大概是： ERROR: Can't get master address from ZooKeeper; znode data == null 进入zookeeper的data目录下删除红框中的重启即可唉~所有环境都好了木有时间玩~ 只能等周末好好玩一把~

2015-11-25

分布式搜索Elasticsearch

http://www.elasticsearch.org/

2013-02-15

分布式数据库 ZNBase 的分布式计划生成

分布式数据库拥有分布式执行计划，与传统单机数据库相比拥有更高的扩展性。本文将介绍 NewSQL 分布式数据库 ZNBase 的分布式计划生成机制。

2021-07-19

我所认知的分布式系统（一）分布式系统概览

前言我们身处于一个充斥着分布式系统解决方案的计算机时代，而分布式系统是一个很大的概念，从架构设计、研发流程、运维部署、工程效率等多个角度均有很深的知识可以挖掘。

2018-07-30

全面解析 Apache DolphinScheduler 数据库模式：从表结构到调度逻辑

本文档对 Apache DolphinScheduler 的数据库模式进行了系统介绍，涵盖存储工作流定义、任务配置、调度信息、用户数据及其他核心系统组件的各类表的结构、相互关系和功能，帮助用户深入理解

2025-11-26

WhaleStudio 分钟级构建 AI 模型，强大 Ops 能力简化模型调度与部署

WhaleStudio简化MLOps WhaleStudio是白鲸开源的DataOps解决方案，通过采用WhaleStudio，企业可以简化ML模型的部署工作，并通过WhaleStudio强大的数据准备能力和调度监控能力

2023-09-27

OGAI详解：AIStation调度平台如何实现大模型高效长时间持续训练

如下表所示，AIStation调度器与原生社区版相比，能大幅提升大规模POD任务的调度性能，尤其能保证大模型训练的计算资源的调度使用。

2023-09-20

每日一博 | 详解数仓的网络调度与隔离管控能力

调度器是实现QoS的关键，调度器根据优先级和带宽配比进行业务调度。调度器的输入是要提供服务的数据包队列，输出是完成调度输出的一个个数据包。

2023-03-06

如何在几百万qps的网关服务中实现灵活调度策略

面对众多的接入方，如何实现既能通用又能个性化的流量调度呢？来本文一探究竟吧。全文3802字，预计阅读时间10分钟。

2022-11-29

每日一博 | 容量调度绝对值配置队列使用与避坑

【概述】在yarn中，对于容量调度而言，需要配置不同的队列，并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的，那么，如果集群资源进行扩容，队列的资源也就相应的增加了。

2022-07-11

新一代大数据调度 - Apache DolphinScheduler 3.0-alpha 重磅发布

zwZjut, 天仇, 小张, 时光, 王强, 百岁, 弘树, 张俊杰, 罗铭涛参与贡献随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度

2022-04-25

大厂面试爱问的「调度算法」，20 张图一举拿下

其中，关于操作系统的「调度算法」考察也算比较频繁。所以，我这边总结了操作系统的三大调度机制，分别是「进程调度/页面置换/磁盘调度算法」，供大家复习，希望大家在秋招能斩获自己心意的 offer。

2020-09-07

Schedulis V1.0.0 发布--开源的金融级工作流调度方案

Schedulis 是微众银行基于 LinkedIn 的开源项目 Azkaban 开发的一款工作流任务调度系统，用于解决金融级场景下，大量批量作业任务的复杂依赖、灵活调度。

2020-05-15

Linus 礼貌回应开发者对 Linux 调度器存在问题的批评

C++ 的游戏开发者 Malte Skarupke发表博客称在为 Google 的云游戏服务平台Google Stadia 提供 Linux 游戏时遇到了问题，并表示问题显然来自 Linux 内核的调度程序

2020-01-09

Jenkins小项目—代码测试、部署、回滚、keepalived+haproxy调度至tomcat

("java",pid=5861,fd=75)) 5）浏览器访问测试“主tomcat服务” 6）浏览器访问测试“备tomcat-1服务” 3.分别配置两台keepalived+haproxy高可用分离调度服务

2019-08-05

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。