《Spark大数据分析实战》——1.1节初识Spark-低调大师

《Spark大数据分析实战》——1.1节初识Spark

2017-05-01 731

本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.1节初识Spark，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

1.1　初识Spark
Spark是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。
1.?Spark执行的特点
Hadoop中包含计算框架MapReduce和分布式文件系统HDFS。
Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储层，融入Hadoop的生态系统，并弥补MapReduce的不足。
（1）中间结果输出
Spark将执行工作流抽象为通用的有向无环图执行计划（DAG），可以将多Stage的任务串联或者并行执行，

微信关注我们

原文链接：https://yq.aliyun.com/articles/108507

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop实战手册》一1.3 使用distcp实现集群间数据复制

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.3节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 使用distcp实现集群间数据复制 Hadoop分布式复制（distcp）是Hadoop集群间复制大量数据的高效工具。distcp是通过启动MapReduce实现数据复制的。使用MapReduce的好处包含可并行性、高容错性、作业恢复、日志记录、进度汇报等。Hadoop分布式复制（distcp）对在开发集群环境、研究集群环境和生产集群环境之间进行数据复制十分有用。准备工作首先必须保证复制源和复制目的地能够互相访问。最好关闭复制源集群map任务的推测机制，可以在配置文件mapred-site.xml中将mapred.map.tasks.speculative.execution的值设置为false来实现，这样就可以避免在map任务失败的时候产生任何不可知的行为。源集群和目的集群的RPC协议必须是一...

2017-05-02

629

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.2节，作者[美]　穆罕默德·古勒（MohammedGuller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2　数据序列化数据有自己的生命周期，独立于创建或使用它的程序。大多数情况下，数据比创建它的应用存活得更久。一般来说，数据保存在硬盘上。有时，也会通过网络把数据从一个应用发送给另一个应用。在硬盘上存储或通过网络发送的数据格式与数据在内存中的格式是不一样的。把内存中的数据转换为可在硬盘上存储或通过网络发送的过程叫作序列化，而把硬盘或网络中的数据读取到内存的过程叫作反序列化。数据可以用多种不同的格式进行序列化，比如CSV、XML、JSON和各种二进制格式。每种格式各有优缺点。比如，像CSV、XML和JSON这样的文本格式

2017-05-02

711

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。