《Spark与Hadoop大数据分析》一一1.5　小结-低调大师

《Spark与Hadoop大数据分析》一一1.5　小结

2017-07-02 505

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.5节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.5　小结

使用Hadoop和Spark的大数据分析大致分为两大类：数据分析和数据科学。数据分析侧重于过去和现在的统计，而数据科学侧重于未来的统计。数据科学项目本质上是迭代的，而数据分析项目则不是迭代的。
Apache Hadoop为你提供了分布式存储和资源管理，Spark为你提供了大数据分析的内存级性能。在大数据分析中，需要根据用例的类型及其可行性来使用各种工具和技术。
下一章将帮助你开始学习Hadoop和Spark。

微信关注我们

原文链接：https://yq.aliyun.com/articles/117388

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据太大？你该了解Hadoop分布式文件系统

大数据时代来了。当所有人都争吵着这件事情的时候，当所有企业都看好大数据的发展前景的时候，却都很少关注这些数据从哪儿来，我们有没有足够优秀的技术能力处理这些数据。联网设备增加数据量随之上升网络的发展无疑为我们迎接大数据时代、智能计算时代铺好了路。根据研究公司的预测，全球联网设备正在增加，在部分国家，人均联网设备早已超过2台；如此大量的联网设备和不断提高的网络速度都在让社会的数据量快速增长，智慧城市、平安城市的实现也是以视频监控等视频数据为基础，成为大数据时代的重要组成部分。机器人、AI、机器学习的研究让数据成为未来辅助我们生活的必要因素，无人车、机器人快递等形式的出现，一方面体现了数据价值，另一方面也是在不断收集数据，反哺数据分析和应用。数据体量太大谁来处理？数据产生后，意味着数据的采集工作已经完成，那么数据的输入与有效输出问题怎么破解？自大数据时代到来之后，分布式存储、大文件的读写都成为热点话题，如何应对越来越多的大文件存储、分析与检索，成为企业需要攻克的难题。而Hadoop的原型要从2002年开始说起。Hadoop的雏形始于2002年的Apache的Nutch，N...

2017-07-03

447

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.6节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.6　Puppet的快速入门 Puppet是一个IT自动化框架，用来帮助管理员管理大规模的网络设施资源，使用灵活的、声明式的实现方式来进行IT自动化管理。Puppet的核心是manifest的概念，它描述了一个设施资源对预期的声明（state）。在Puppet中，声明包括了以下方面：安装了哪些软件包。运行着哪些服务，不运行哪些服务。软件配置详情。 2.6.1　Puppet manifest文件Puppet使用了基于Ruby的DSL（Domain Specific Language）在一组manifest文件中来描述系统配置。例如

2017-07-03

586

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。