《循序渐进学Spark》一导读-低调大师

《循序渐进学Spark》一导读

2017-05-01 681

Preface 前　　言

Spark诞生于美国加州大学伯克利分校AMP实验室。随着大数据技术在互联网、金融等领域的突破式进展，Spark在近些年得到更为广泛的应用。这是一个核心贡献者超过一半为华人的大数据平台开源项目，且正处于飞速发展、快速成熟的阶段。

为什么写这本书

Spark已经成为大数据计算、分析领域新的热点和发展方向。相对于Hadoop传统的MapReduce计算模型，Spark提供更为高效的计算框架以及更为丰富的功能，因此在大数据生产应用领域中不断攻城略地，势如破竹。

与企业不断涌现的对大数据技术的需求相比，大数据人才还存在很大缺口，对大数据技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中，我们发现，一本能完整系统地介绍Spark各模块原理并兼顾使用实战的书，对于初入大数据领域的技术人员至关重要。于是，我

微信关注我们

原文链接：https://yq.aliyun.com/articles/87751

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《企业大数据系统构建实战：技术、架构、实施与应用》一第3章企业大数据解决方案3.1　企业大数据解决方案实现方式

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第3章，第3.1节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看第3章企业大数据解决方案企业在开展大数据战略时，往往面临多种实施解决方案的路径可供选择。由于企业需求、背景和环境的不同，所适用的解决方案和实现方式也会有所差异。对大多数企业而言，适合企业的解决方案才是最好的，而非是那些价格最贵、功能最全的。不同解决方案之间有哪些区别？它们各自对于企业的要求和限制条件是什么？企业应该如何根据自身情况选择最合适的大数据解决方案？本章将重点介绍这些问题。 3.1　企业大数据解决方案实现方式工欲善其事必先利其器，企业大数据解决方案既包括大数据产品和工具层面，又包括服务层面。企业大数据解决方案根据实现方式的不同可分为完全独立

2017-05-02

535

《MapReduce 2.0源码分析与编程实战》一1.4 MapReduce与Hadoop

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.4节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 MapReduce与Hadoop 如果将Hadoop比作一头大象的话，那么MapReduce就是那头大象的大脑。MapReduce是Hadoop核心编程模型。在Hadoop中，数据处理核心为MapReduce程序设计模型。MapReduce把数据处理和分析分成两个主要阶段，即Map阶段和Reduce阶段。Map阶段主要是对输入进行整合，通过定义的输入格式获取文件信息和类型，并且确定读取方式，最终将读取的内容以键值对的形式保存。而Reduce是用来对结果进行后续处理，通过对Map获取内容中的值进行二次处理和归并排序从而计算出最终结果。MapReduce的处理过程，如图1-1所示。在MapReduce处理过程中，首先对数据进行分块处理，之后将数据信息交给Map任务去进行读取，对数据进行分类后写入，根据不同的键产生相应的键值对数据。之后进入Reduce阶段，而Reduce的任务是执行定义的Reduce方法...

2017-05-02

545

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。