搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

操作系统常用调度算法，你知道几个？

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》在操作系统中存在多种调度算法，其中有的调度算法适用于作业调度，有的调度算法适用于进程调度，有的调度算法两者都适用。

2019-03-05

DataWorks V2.0中如何新增“调度资源”

每一个账号在DataWorks上都会分配到一批调度资源，但由于DataWorks产品本身还在公测中，没法做到无限制的对大家开放调度资源，那么调度资源不足的话，可以尝试如下方法。

2019-01-01

基于Kubernetes的瓜子云的任务调度系统

接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。需求瓜子最早的时候，任务调度用的是Crontab，后来由于数据仓库的复杂调度需求，我们引入了Airflow。

2018-12-13

Spark DAG调度器事件循环处理器

Spark DAG调度器事件循环处理器更多资源 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看):

2018-12-03

Spark Master资源调度--SparkContext向所有master注册

Spark Master资源调度–SparkContext向所有master注册更多资源 github: https://github.com/opensourceteams/spark-scala-maven

2018-12-03

使用Airflow来调度Data Lake Analytics的任务

今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。

2018-10-18

wait()：使一个线程处于等待（阻塞）状态，并且释放所持有的对象的锁； sleep()：使一个正在运行的线程处于睡眠状态，是一个静态方法，调用此方法要处理InterruptedException异常； notify()：唤醒一个处于等待状态的线程，当然在调用此方法的时候，并不能确切的唤醒某一个等待状态的线程，而是由JVM确定唤醒哪个线程，而且与优先级无关； notityAll()：唤醒所有处于等待状态的线程，该方法并不是将对象的锁给所有线程，而是让它们竞争，只有获得锁的线程才能进入就绪状态；补充：Java 5通过Lock接口提供了显式的锁机制（explicit lock），增强了灵活性以及对线程的协调。Lock接口中定义了加锁（lock()）和解锁（unlock()）的方法，同时还提供了newCondition()方法来产生用于线程之间通信的Condition对象；此外，Java 5还提供了信号量机制（semaphore），信号量可以用来限制对某个共享资源进行访问的线程的数量。在对资源进行访问之前，线程必须得到信号量的许可（调用Semaphore对象的acquire()方法）；在完成对资源的访问后，线程必须向信号量归还许可（调用Semaphore对象的release()方法）。

2018-07-24

[springboot]集成org.quartz-scheduler进行任务调度

前言 springboot内置有org.springframework.scheduling.annotation.Scheduled可以让我们进行简单快速的任务调度（例如定时执行的任务），当我们一些和任务调度有关的业务开始复杂的时候

2018-01-22

推荐一款任务调度的开源方案

在平时的工作中，我们多多少少会有一些定时任务需要处理，有些是在每个服务器上单独部署，有些是在中控端部署，但是这样有一个缺点就是难以形成闭环，我们不知道我们的定时任务是否执行成功，如果需要做信息统计，这个工作量还是蛮大的。简单来说，就是下面的痛点了：需要在每台linux服务器的crontab里一一定义任务任务的执行监控太不方便了得登录到每台机器查看定时任务的运行结果,机器一多简直是一种灾难对于多台机器协同处理一个任务很麻烦,如何保证多台机器上的任务按顺序依次执行? 当任务运行失败,要重新执行,还得重新定义下执行时间,让其重跑,重跑完成了还得改回正常时间正在运行的任务要kill掉很麻烦,查看进程然后才能kill...... 而最近在梳理自动化的一些东西，所以开源的方案都会进入我的视线，我都会多多少少测试一下，看看怎么转换为自己需要的东西，顺便也找找曾经开发的感觉。有一个开源项目opencron引起了我的兴趣。开源项目的地址是：https://github.com/wolfboys/opencron 整个开源项目的部署还是比较方便的，如果做过Java Web相关的开发,部署起来会很轻松。说说我对这个项目的理解，开发语言主要是Java,它的架构是基于c/s的方式，在每个需要调用任务的客户端都需要部署一个客户端，然后在服务端来触发，整个工程的编译是使用maven实现，编译后会生成一个war包，拷贝到web容器中，比如tomcat中即可。对我来说最大的优点是这个项目我能很快得到我希望看到的界面和功能。界面的效果上还是不错的，可以选择差不多10多个主题。而从功能来说，个人认为中间的头像和日历还是不需要的，右边栏的统计很不错，通过这些概览能够很容易得到一个整体的数据。那些任务成功，失败都可以一目了然。还有个不错的功能是对于任务的统计图，有折线图，有饼图。这个效果还是不错的。任务可以手动执行触发，也可以设置重跑次数，超时次数等等。这个webshell的功能真是太炫了。在浏览器中能够开启这样一个ssh会话，我在几年前还曾经写过程序模拟，但是效果都不大好，在这里满足了我之前的一个小小的遗憾。还有个问题就是如果要集成到自动化平台中，其实还是需要不小的工作量，因为自动化平台的技术语言目前是Python,考虑到团队的需求，尽可能减少体系的复杂度，opencron还是有不小的参考价值，在后期如何引入，我觉得可以依旧从试用中得到更多的经验。我觉得我需要兼任几个角色，比如产品设计，系统架构，然后落地的过程中的开发技术和数据库相关的技术结合，想想挑战还是有的，不管怎么样就是做一件事情，把他做好，先提高团队的工作效率，把那些手工的配置和管理都能够对接到平台上，可以统一管控，如果从业务价值和技术价值的角度来衡量，其实目前来看技术价值有的，业务价值不高，但是如果能够落地，那么业务价值会远大于技术价值，技术工作就是如此，没开始的时候能够天马行空，但是要落到实处，需要付出很多的努力。之前分享过一起 OpsManage的想法，有很多朋友已经在部署试用了，很多朋友问我一些部署的细节，或者说这个方案是否可以满足工作中的绝大多数需求，我想说的是，应该不会，我认为它最大的优点在于可以减少技术从0开始的复杂度，让你可以快速迭代开发。对于自动化的开发和问题，大家可以一起交流，入群有验证，标注公司-职位，一个星期内没有有效发言（发表情不算有效发言），会被请出，先想好再入群。如果你是有经验的老司机，希望能够加入提供技术建议，一起交流，如果你也是在探索的朋友，那就立一个计划吧。我拍个脑袋，一个月也达到什么程度，然后来按照这个时间反推进度。

2017-11-29

调度策略的测试方法及其自动化

调度测试分析首先，第一个问题，调度是什么？图1 游戏列车调度员截图网上有这么一个游戏：列车调度员。

2017-11-22

美团点评容器平台HULK的调度系统

类似的，在调度系统中，如果要追求极限的资源利用率，则每一次调度的结果必须是基于当前资源池状态的最优解，因此不管调度队列还是调度处理计算只能是“单行道”，效率低下是毋庸置疑的，大批量伸缩调度场景下任务堆积严重

2017-10-11

起底Ocata：资源管理、调度和容器

在Ocata中，“Placement API默认用于管理Nova调度”。修改的原因之一，是私有云已经扩大了其范围，他说。“以前，私有云就只关注于虚拟机的自动化。”

2017-08-31

揭开OpenStack 统计资源和资源调度的面纱

本文以以上四个问题为切入点，结合 Kilo 版本 Nova 源码，在默认 Hypervisor 为 Qemu-kvm 的前提下(不同 Hypervisor 的资源统计方式差别较大 )，揭开 OpenStack 统计资源和资源调度的面纱

2017-08-01

Skype通话调度功能提供给Android用户

现在，这些新功能当中的通话调度功能已经提供给Android版Skype，而不是iOS版本。

2017-07-04

【干货】全自主研发Docker容器调度引擎——Newbon

背景：大家所熟知的Docker容器调度引擎包括，K8S, Swarm, Mesos和Rancher，这些调度引擎都是开源的国外引擎，各有各的特点。

2017-02-13

【百科】走近飞天：伏羲——资源调度服务

“飞天”是阿里巴巴的云计算平台，其中的分布式调度系统被命名为“伏羲”（代码名称Fuxi），名字来自我国古代神话人物。

2016-12-06

国内某头部理财服务提供商基于白鲸调度系统建立统一调度和监控运维

采用白鲸调度系统让该企业实现了统一调度和监控运维，调度性能大幅提高。本文将详细描述白鲸调度系统为该企业提供的解决方案和相关应用实践。

2023-09-06

鸿蒙内核源码分析(调度机制篇) | 任务是如何被调度执行的? | 中文注解HarmonyOS源码 | v7.04

那在内核的调度层面，咱们只说task,task是内核调度的单元，调度就是围着它转。

2020-09-21

分布式--Dubbo 分布式服务

发展历史随着互联网的不断发展，网站的应用规模越来越大，常规的垂直架构已经无法应对，尤其是类似电商的项目，所以分布式架构和流动计算架构已经势在必行。Dubbo就是资源调度和服务治理中心的管理工具。

2018-04-22

HeteroFlow 异构算力调度平台开源版即将发布

HeteroFlow 异构算力调度平台开源版：让每一块 GPU 都物尽其用 HeteroFlow 是国内领先的开源异构算力 GPU 统一调度平台，支持 NVIDIA、昇腾、海光、寒武纪、壁仞、AMD

2026-04-17

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

操作系统常用调度算法，你知道几个？

DataWorks V2.0中如何新增“调度资源”

基于Kubernetes的瓜子云的任务调度系统

Spark DAG调度器事件循环处理器

Spark Master资源调度--SparkContext向所有master注册

使用Airflow来调度Data Lake Analytics的任务

与线程同步以及线程调度相关的方法

[springboot]集成org.quartz-scheduler进行任务调度

推荐一款任务调度的开源方案

调度策略的测试方法及其自动化

美团点评容器平台HULK的调度系统

起底Ocata：资源管理、调度和容器

揭开OpenStack 统计资源和资源调度的面纱

Skype通话调度功能提供给Android用户

【干货】全自主研发Docker容器调度引擎——Newbon

【百科】走近飞天：伏羲——资源调度服务

国内某头部理财服务提供商基于白鲸调度系统建立统一调度和监控运维

鸿蒙内核源码分析(调度机制篇) | 任务是如何被调度执行的? | 中文注解HarmonyOS源码 | v7.04

分布式--Dubbo 分布式服务

HeteroFlow 异构算力调度平台开源版即将发布

资源下载

Mario

腾讯云软件源

Rocky Linux

WebStorm

欢迎您来访！

精选列表

操作系统常用调度算法，你知道几个？

DataWorks V2.0中如何新增“调度资源”

基于Kubernetes的瓜子云的任务调度系统

Spark DAG调度器事件循环处理器

Spark Master资源调度--SparkContext向所有master注册

使用Airflow来调度Data Lake Analytics的任务

与线程同步以及线程调度相关的方法

[springboot]集成org.quartz-scheduler进行任务调度

推荐一款任务调度的开源方案

调度策略的测试方法及其自动化

美团点评容器平台HULK的调度系统

起底Ocata：资源管理、调度和容器

揭开OpenStack 统计资源和资源调度的面纱

Skype通话调度功能提供给Android用户

【干货】全自主研发Docker容器调度引擎——Newbon

【百科】走近飞天：伏羲——资源调度服务

国内某头部理财服务提供商基于白鲸调度系统建立统一调度和监控运维

鸿蒙内核源码分析(调度机制篇) | 任务是如何被调度执行的? | 中文注解HarmonyOS源码 | v7.04

分布式--Dubbo 分布式服务

HeteroFlow 异构算力调度平台开源版 即将发布

资源下载

Mario

腾讯云软件源

Rocky Linux

WebStorm

欢迎您来访！

HeteroFlow 异构算力调度平台开源版即将发布