Spark入门到精通视频学习资料--第二章：Spark生态系统介绍，Spark整体概述与Spark编程模型（2讲）-低调大师

Spark入门到精通视频学习资料--第二章：Spark生态系统介绍，Spark整体概述与Spark编程模型（2讲）

2015-02-25 677

概述

什么是Spark

◆ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。其架构如下图所示：

Spark的适用场景

◆ Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小

◆ 由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。

◆ 总的来说Spark的适用面比较广泛且比较通用。

详细内容请参考视频：

~~Spark概述与编程模型（上） http://pan.baidu.com/s/1kT9okBl~~

~~Spark概述与编程模型（下） http://pan.baidu.com/s/16OEjc~~

另外给个相关的PDF文件供参考：

Spark概述与编程模型.pdf http://pan.baidu.com/s/1mg64rMw

==========================================================

申明：视频资料已过期，建议不要再下载了。

==========================================================

微信关注我们

原文链接：https://yq.aliyun.com/articles/335280

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop入门 -- 简介，安装，示例

(1) Hadoop简介 Hadoop是Apache基金会旗下开源项目，是一款开源的可靠、可扩展的分布式计算软件平台。 Hadoop可以看做是实现分布式计算的一个框架。可利用其提供的函数接口进行简单编程，对数据进行分布式处理。分布式处理系统关键是保证系统的高可靠性(一般分布式系统均使用廉价，配置不高的机器作为节点，所以单一的节点出现问题的几率较高)，Hadoop利用软件在应用层发现与处理错误。 Hadoop实现分布式处理的思想主要体现在MapReduce框架上，MapReduce框架是Hadoop中的一个模块。 Hadoop作为处理分布式数据的平台，实现了HDFS(Hadoop Distributed File System)文件系统，用于分布式数据的存储。 (2) Hadoop安装 Hadoop一般在linux系统下使用，若在Windows系统下需模拟Unix系统来实现。 Hadoop一般使用Java函数接口，进行Java编程，也有C语言等接口可用。最通用的就是linux+java。 Hadoop作为分布式处理系统，不仅可以应用在多台机器上，它也提供了伪分布式模式供单台机器使用。...

2015-02-25

562

在配置hadoop完全分布式模式时，需设置ssh免密码登陆，研究查询一番，记录如下：设置ssh免密码登陆，首先生成公私密钥，在当前用户主目录下(即/home/xxx，xxx为用户名)，执行命令执行上述命令后会在当前目录下生成 .ssh 文件夹(ls -l可查看隐藏文件夹)，该文件夹下包含文件如图将本机的公钥复制到验证密钥文件中，用于被登陆时利用公钥解密，执行命令注意，执行以上命令后，可能执行无密码登陆会不成功，需修改文件authorized_keys的权限，改为600，执行命令此时无密码登陆本机测试此时登陆，首次需输入yes，二次登陆时可直接进入无需输入任何信息。在该机器登陆通过ssh登陆其他机器时，只需将 .ssh 文件夹下id_dsa.pub文件中的内容复制到欲被登陆其他机器的 .ssh文件夹下的authorized_keys文件中，可先通过scp将文件id_dsa.pub传到其他机器上的.ssh文件夹中(注意与本机的公钥文件不重名，可在scp传送时重命名，假设重命名为other_dsa.pub)，在其上执行cat ~/.ssh/other_dsa.pub ~/.ss...

2015-02-27

647

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。