首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/313476/matt-mullenweg-wordpress-wp-engine

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

字节跳动如何对大规模 Spark 作业进行资源提效|VLDB 2024论文解读

引言 论文链接:https://www.vldb.org/pvldb/vol17/p3759-shi.pdf 近年来 Spark 已经成为离线大数据处理引擎的事实标准,广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业,Shuffle 量高达 500PB,CPU 资源需求达到千万级别。随着业务的快速发展,用户对计算资源的需求越来越大,除了增加物理资源之外,如何提高线上 Spark 作业的资源使用效率也是我们亟需解决的问题。 在对线上 Spark 作业做了统计分析发现作业的 CPU & Memory 利用率都低于 50%(利用率指作业实际使用的资源占实际申请资源的比例);作业的 Data Scan Time 加上 Shuffle Read Block Time 占据了整个运行时间的 45% 左右。从上述指标可以看出,线上 Spark 作业有非常大的资源优化空间,资源使用效率不高的原因主要有以下 3 个方面: Slow IO Slow HDFS IO:离线数据存储在 HDFS 集群,经常会出现作业读取 HDFS 慢,导致 CPU/Mem...

华为全联接大会 2024:openMind 应用使能套件,加速 AI 社区生态汇聚

[中国,上海,2024年9月21日] 9月19日,华为常务董事、ICT基础设施业务管理委员会主任汪涛发表主题演讲时正式宣布,为加快AI在企业的创新和落地,华为全面开放openMind应用使能套件,助力企业快速构建自己的AI社区,繁荣产业生态。 “openMind应用使能套件,加速AI社区生态汇聚”主题论坛,也在华为全联接大会2024期间首次举办,业内专家在现场分享了以电信魔乐社区为主导的AI生态社区功能、技术亮点及关键优势。华为计算产品线昇腾领域人工智能生态总经理刘伟发表演讲并表示,openMind应用使能套件通过聚合昇腾生态资源,有效加速开发者的应用创新。 会上,openMind联合魔乐社区、Gitee AI社区、OpenI启智社区等伙伴,共同启动“同心聚力·共建共赢”AI产业生态共建行动,旨在通过技术整合、资源共享、生态共建,开启AI产业生态共建的新征程。 (从左到右依次为:启智社区副秘书长 冯大为,华为昇腾openMind副总经理 胡晓曼,天翼云智算产品线总监 张安发,开源中国CTO 刘冬) 极致易用,激发潜能 人工智能已进入加快推进应用落地的关键阶段,中国电信联合华为发布魔乐...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。