《循序渐进学Spark》一导读-低调大师

《循序渐进学Spark》一导读

2017-05-01 795

Preface 前　　言

Spark诞生于美国加州大学伯克利分校AMP实验室。随着大数据技术在互联网、金融等领域的突破式进展，Spark在近些年得到更为广泛的应用。这是一个核心贡献者超过一半为华人的大数据平台开源项目，且正处于飞速发展、快速成熟的阶段。

为什么写这本书

Spark已经成为大数据计算、分析领域新的热点和发展方向。相对于Hadoop传统的MapReduce计算模型，Spark提供更为高效的计算框架以及更为丰富的功能，因此在大数据生产应用领域中不断攻城略地，势如破竹。

与企业不断涌现的对大数据技术的需求相比，大数据人才还存在很大缺口，对大数据技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中，我们发现，一本能完整系统地介绍Spark各模块原理并兼顾使用实战的书，对于初入大数据领域的技术人员至关重要。于是，我

微信关注我们

原文链接：https://yq.aliyun.com/articles/87751

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《企业大数据系统构建实战：技术、架构、实施与应用》一第3章企业大数据解决方案3.1　企业大数据解决方案实现方式

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第3章，第3.1节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看第3章企业大数据解决方案企业在开展大数据战略时，往往面临多种实施解决方案的路径可供选择。由于企业需求、背景和环境的不同，所适用的解决方案和实现方式也会有所差异。对大多数企业而言，适合企业的解决方案才是最好的，而非是那些价格最贵、功能最全的。不同解决方案之间有哪些区别？它们各自对于企业的要求和限制条件是什么？企业应该如何根据自身情况选择最合适的大数据解决方案？本章将重点介绍这些问题。 3.1　企业大数据解决方案实现方式工欲善其事必先利其器，企业大数据解决方案既包括大数据产品和工具层面，又包括服务层面。企业大数据解决方案根据实现方式的不同可分为完全独立

2017-05-01

615

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.4节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 MapReduce与Hadoop 如果将Hadoop比作一头大象的话，那么MapReduce就是那头大象的大脑。MapReduce是Hadoop核心编程模型。在Hadoop中，数据处理核心为MapReduce程序设计模型。MapReduce把数据处理和分析分成两个主要阶段，即Map阶段和Reduce阶段。Map阶段主要是对输入进行整合，通过定义的输入格式获取文件信息和类型，并且确定读取方式，最终将读取的内容以键值对的形式保存。而Reduce是用来对结果进行后续处理，通过对Map获取内容中的值进行二次处理和归并排序从而计算出最终结果。MapReduce的处理过程，如图1-1所示。在MapReduce处理过程中，首先对数据进行分块处理，之后将数据信息交给Map任务去进行读取，对数据进行分类后写入，根据不同的键产生相应的键值对数据。之后进入Reduce阶段，而Reduce的任务是执行定义的Reduce方法...

2017-05-01

646

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。