首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/182707

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Scala机器学习》一一3.2 理解Spark的架构

3.2 理解Spark的架构并行化是将工作负载划分为在不同线程或不同节点上执行的子任务。下面介绍Spark实现并行化的原理,以及它如何管理子任务的执行和子任务之间的通信。3.2.1 任务调度Spark工作负载的划分由弹性分布式数据集(Resilient Distributed Dataset,RDD)的分区数决定,这是Spark的基本抽象和管道结构。RDD是一种可并行操作的、不可变元素的分区集合。具体细节可能取决于Spark的运行模式,图3-2为Spark任务/资源调度的示意图。 图3-2 通用的Spark任务调度示意图。尽管在图中没有明确标识,Spark Context通常会在端口4040上打开一个HTTP UI(并发情形将打开4041、4042等),在任务执行期间会一直这样。Spark Master UI的端口通常是8080(虽

亦真亦幻 弹性云网络

“互联网+”是要让信息技术、网络技术深度融合于经济社会各领域之中,使互联网下沉为各行各业都能调用的基础设施资源。预计到2025年,全球将有65亿互联网用户,使用80亿个智能手机,创建1000亿个连接,产生176ZB的数据流量,全面实现泛在的连接。在未来,网络需要满足海量终端的接入、动态的数据存储与转发请求,实现灵活开放的弹性调度机制,提供以应用为本的业务定制服务。随着SDN/NFV、5G、云计算、大数据和物联网等大量新技术的应用,正逐步重构着未来网络的架构。未来网络将可以根据丰富的业务和内容进行弹性调度和自适应,网络设备采用通用硬件,软件功能架构在云上,具备良好的可扩展性,未来的网络是随服务而定义的弹性云网络,应具备“云网一体、集中计算、弹性调度、内容为轴”等四个显着特征。同时,借助“互联网+”行动计划,促进“消费互联网”走向“产业服务互联网”,最终通过泛在连接网络、灵活接入技术、智能化服务管理平台等辅助的技术手段迈向万物互联时代(IoE:Internet of Everything)。 图1:弹性云网络特征 一、云网一体 互联网应用前所未有的规模化、丰富化,越来越多的垂直行业、产业应...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。