《Spark与Hadoop大数据分析》一一3.7　小结-低调大师

《Spark与Hadoop大数据分析》一一3.7　小结

2017-07-02 659

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.7节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.7　小结

RDD 是 Spark 中基本的数据单元，Spark 编程就是围绕创建和执行 RDD 上的操作（如变换和动作）进行的。Apache Spark 程序可以在 shell 中交互式执行或通过提交应用程序来执行。它的并行度是由 RDD 中的分区数量决定的。而分区的数量则由 HDFS 文件中的区块数或资源管理器的类型以及用于非 HDFS 文件的配置属性决定。
在内存中缓存 RDD 对于在同一 RDD 上执行多个动作是有用的，因为它提供了更高的性能。当使用 MEMORY_ONLY选项缓存 RDD 时，没有放入内存中的分区将在需要时重新计算。如

微信关注我们

原文链接：https://yq.aliyun.com/articles/117488

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据的小算盘

这两年大数据市场发展得红红火火，业界普遍看好其应用前景。精英们，专家们每每提及大数据，必然带上数据经济、物联网，人工智能等一长串金光闪耀的名词作为注脚，常把我这种小从业者侃的热血沸腾，大有“世界是我们的，就是我们的，最终还是我们的”的感觉。不过热血总是会平复的，冷静下来想想，能够在大数据浪潮中兴风作浪的只是少数有资源、有技术、有市场的巨头们，对于面临生存发展压力的众多小从业者来说，多美好的未来都太遥远，与其垂涎行业巨头们的大布局，不如静下心打打自己的小算盘。跟随行业的脚步，向前迈进大数据市场的快速发展会创造很多的市场机会，但也带来巨大的风险。大企业，乃至行业巨头都难保自己不会衰落，更何况对市场风险抵御能力更弱的小从业者。认清并跟随行业发展大趋势，无疑能够大大提升小从业者们的生存和发展能力。随着在各行业中不断应用，大数据技术得到广泛的认可，进入了理性发展阶段。16年以来，各种社会组织对大数据的态度发生了改变，从一种潜力巨大的新技术变为帮助自己适应互联网时代的强力工具，大数据市场相应的出现了新动向：业务需要驱动大数据建设。随着对大数据了解的不断加深，市场关注点变为大数据的实际应用价...

2017-07-03

461

大数据的成长路径一定是个长期成长过程，实用分析工具与先进分析理念，真正释放数字化分析的力量，由人类轨迹产生的数据，与机器自动产生的数据得出洞见，从管理决策推导运营方案，最终实现数据价值提升。无论是为促销产品还是作为战略目标，大数据已然成为很多公司和机构过度使用的术语。笔者认为，数据基本就是两类，一类是人类轨迹产生的数据，另一类机器自动产生的数据。这两类数据构成了我们今天的大数据多结构化数据源。大数据不仅要关注实际数据量的多少，而最重要的是关注在大数据的处理方法，让数据产生巨大的创新价值。这也就是为何以谷歌为代表的技术创新类的公司会在未来成为全球市值最高的公司的核心原因之一。实现工业4.0或中国制造2025的前提之一是构建智能工厂，其核心要素包括了信息物理系统（CPS），物联网（IOT），智能认知，社交媒体，云计算与移动，以及M2M。智能工厂构成了工业4.0的一个关键特征。智能工厂将从现在通过中央控制中的模式转向通过自行优化和控制其制造流程来实现。柔性生产的三个方面 1.人、机器和资源如同在一个社交网络里自然地相互沟通协作。 2.生产出来的智能产品能够理解自己被制造的细节以及将如何用...

2017-07-03

533

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。