字节跳动基础架构编排调度团队论文入选云计算领域顶会 SoCC 2023-低调大师

字节跳动基础架构编排调度团队论文入选云计算领域顶会 SoCC 2023

2023-09-13 329

2023 年 10 月 30 日至 11 月 1 日， SoCC 2023 将在美国加州 Santa Cruz 举行。 字节跳动基础架构-编排调度团队的研究成果被 S o CC 2023 接收，并受邀进行现场报告。

SoCC 会议全称 Annual ACM Symposium on Cloud Computing，是 云计算领域顶级会议之一，同时也是 ACM 所有会议当中唯一一个同时被 SIGMOD 和 SIGOPS 赞助的顶会。代表了当前云计算领域在学术界、工业界和开源社区的前沿水平。SoCC 会议伴随着云计算的兴起而成立，至今已经举办到第 14 届。该会议每年吸引全球顶级研究机构和知名大公司投稿，对系统创新性、完整性、和有效性等方面都要求很高。今年，会议论文的接收率只有30%。

Gödel: Unified Large-Scale Resource Management and Scheduling at ByteDance

Gödel 是字节跳动基础架构-编排调度团队自主研发、面向大规模云原生基础设施管理的在离线统一调度系统。

字节跳动旗下业务线在过去几年的飞速发展中对计算资源的需求与日俱增，在数据中心的不断膨胀和对计算资源的差异化需求中，原生的 Kubernetes 调度器对于各种在离线业务负载统一托管、资源统一运营都带来了一系列挑战。

在此背景下，Gödel 调度系统孕育而生，和 Kubernetes 原生调度器相比，能同时在一套集群环境支持各类在离线、机器学习负载混合调度，同时具有高吞吐(up to 10X)、高弹性(sub-minute 资源流转)、高资源利用率(up to 60%)等特点，更好地满足了字节各业务间混合部署、资源并池等部署要求。在满足各形态业务负载 SLA 要求的同时，为计算集群资源统一运营提供了通用平台，进而提高了字节数据中心的资源利用率和任务灵活性，达到降本增效的目的。

Gödel 论文与现场报告将于 10 月底正式亮相 SoCC 2023。届时，字节跳动基础架构团队也将发布该论文的对应解读文章，敬请持续关注。

微信关注我们

原文链接：https://my.oschina.net/u/5941630/blog/10110002

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

白鲸开源 X SelectDB 金融大数据联合解决方案公布！从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：实时与查询性能不足，高并发支持挑战大：金融行业中常见的风控、决策分析、高管看板、实时营销等业务场景均要求数据的高时效性以及秒级甚至毫秒级的查询性能；同时金融行业常见的支付、转账、账务业务场景均对吞吐量有很高的要求，需要稳定的高并发数据服务支持。然而基于离线数仓的架构实时性能不足，俨然已经无法满足数据快速获取和业务价值变现的诉求。 “数据孤岛”制约大数据发挥价值：金融行业的数据来源通常包含三大类：业务信息数据、行为数据和第三方数据。这些数据通常来自不同的数据源。烟囱式系统建设导致各部门业务系统相互独立，形成大大小小的数据孤岛，造成数据分析和决策困难等。数据质量问题频发：金融大数据来自不同的生产部门，数据通过不同的链路、不同的写入方式到达目...

2023-09-13

325

大家好，我是来自 BOSS直聘的赵俊南，主要负责安全方面的图存储相关工作。作为一个从 v1.x 用到 v3.x 版本的忠实用户，在见证 NebulaGraph 发展的同时，也和它一起成长。 BOSS直聘和 NebulaGraph 关于 NebulaGraph 在 BOSS直聘的应用场景，大家可以看看之前文洲老师的文章（图数据库 NebulaGraph 在 BOSS直聘的应用），从那时候文洲老师构建的行为图发展到了安全场景的业务主图、算法推理图、职位相似度图谱等业务，现在更是支持了数仓同学的数据血缘及搜索同学的实时搜索召回场景，单图的规模达到了数千亿。在图计算方面，BOSS 直聘基于 LPA 和 Louvain 的单度团、多维团，以及基础的离线特征，在安全生产环境中广泛应用图技术。相信未来图在 BOSS直聘还会有更为宽广的舞台。 UDF 的萌生随着 NebulaGraph 在 BOSS直聘业务上的广泛应用，相对应的对内部技术人员的要求也越来越高。如果技术人员仅仅停留在使用层面，就无法满足从功能到性能很多需求。所以，学习源码成为了必然。而后迁移 Neo4j->NebulaGra...

2023-09-13

309

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。