首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/flydean/blog/4891700

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

干货丨时序数据库DolphinDB作业管理概述

作业(Job)是DolphinDB中最基本的执行单位,可以简单理解为一段DolphinDB脚本代码在DolphinDB系统中的一次执行。Job根据阻塞与否可分成同步作业和异步作业。 同步作业 同步作业也称为交互式作业(Interactive Job),它的主要来源有: Web notebook DolphinDB GUI DolphinDB命令行界面 通过DolphinDB提供的各个编程语言API接口 由于这种类型的作业对实时性要求较高,DolphinDB在执行过程中会自动给予较高的优先级,使其更快地得到计算资源。 异步作业 异步作业是在DolphinDB后台执行的作业,包括: 通过submitJob或submitJobEx函数提交的批处理作业。 通过scheduleJob函数提交的定时作业。 Streaming 作业。 这类任务一般对结果的实时反馈要求较低,且需要长期执行,DolphinDB一般会给予较低的优先级。 子任务 在DolphinDB中,若数据表数据量过大,一般都需要进行分区处理。如果一个Job A里含有分区表的查询计算任务(如SQL查询),将会分解成多个子任务并送到不同的...

使用 Admission Webhook 机制实现多集群资源配额控制

1 要解决的问题 集群分配给多个用户使用时,需要使用配额以限制用户的资源使用,包括 CPU 核数、内存大小、GPU 卡数等,以防止资源被某些用户耗尽,造成不公平的资源分配。 大多数情况下,集群原生的 ResourceQuota 机制可以很好地解决问题。但随着集群规模扩大,以及任务类型的增多,我们对配额管理的规则需要进行调整: ResourceQuota 针对单集群设计,但实际上,开发/生产中经常使用 多集群 环境。 集群大多数任务通过比如deployment、mpijob 等 高级资源对象 进行提交,我们希望在高级资源对象的 提交阶段 就能对配额进行判断。但 ResourceQuota 计算资源请求时以 pod 为粒度,从而无法满足此需求。 基于以上问题,我们需要自行进行配额管理。而 Kubernetes 提供了动态准入的机制,允许我们编写自定义的插件,以实现请求的准入。我们的配额管理方案,就以此入手。 2 集群动态准入原理 进入 K8s 集群的请求,被 API server 接收后,会经过如下几个顺序执行的阶段: 认证/鉴权 准入控制(变更) 格式验证 准入控制(验证) 持久化 请求...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册