首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/313476/matt-mullenweg-wordpress-wp-engine

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

字节跳动如何对大规模 Spark 作业进行资源提效|VLDB 2024论文解读

引言 论文链接:https://www.vldb.org/pvldb/vol17/p3759-shi.pdf 近年来 Spark 已经成为离线大数据处理引擎的事实标准,广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业,Shuffle 量高达 500PB,CPU 资源需求达到千万级别。随着业务的快速发展,用户对计算资源的需求越来越大,除了增加物理资源之外,如何提高线上 Spark 作业的资源使用效率也是我们亟需解决的问题。 在对线上 Spark 作业做了统计分析发现作业的 CPU & Memory 利用率都低于 50%(利用率指作业实际使用的资源占实际申请资源的比例);作业的 Data Scan Time 加上 Shuffle Read Block Time 占据了整个运行时间的 45% 左右。从上述指标可以看出,线上 Spark 作业有非常大的资源优化空间,资源使用效率不高的原因主要有以下 3 个方面: Slow IO Slow HDFS IO:离线数据存储在 HDFS 集群,经常会出现作业读取 HDFS 慢,导致 CPU/Mem...

华为全联接大会 2024:openMind 应用使能套件,加速 AI 社区生态汇聚

[中国,上海,2024年9月21日] 9月19日,华为常务董事、ICT基础设施业务管理委员会主任汪涛发表主题演讲时正式宣布,为加快AI在企业的创新和落地,华为全面开放openMind应用使能套件,助力企业快速构建自己的AI社区,繁荣产业生态。 “openMind应用使能套件,加速AI社区生态汇聚”主题论坛,也在华为全联接大会2024期间首次举办,业内专家在现场分享了以电信魔乐社区为主导的AI生态社区功能、技术亮点及关键优势。华为计算产品线昇腾领域人工智能生态总经理刘伟发表演讲并表示,openMind应用使能套件通过聚合昇腾生态资源,有效加速开发者的应用创新。 会上,openMind联合魔乐社区、Gitee AI社区、OpenI启智社区等伙伴,共同启动“同心聚力·共建共赢”AI产业生态共建行动,旨在通过技术整合、资源共享、生态共建,开启AI产业生态共建的新征程。 (从左到右依次为:启智社区副秘书长 冯大为,华为昇腾openMind副总经理 胡晓曼,天翼云智算产品线总监 张安发,开源中国CTO 刘冬) 极致易用,激发潜能 人工智能已进入加快推进应用落地的关键阶段,中国电信联合华为发布魔乐...

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册