《Spark与Hadoop大数据分析》一一1.2　大数据科学以及Hadoop和Spark在其中承担的角色-低调大师

《Spark与Hadoop大数据分析》一一1.2　大数据科学以及Hadoop和Spark在其中承担的角色

2017-07-02 570

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.2节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　大数据科学以及Hadoop和Spark在其中承担的角色

数据科学的工作体现在以下这两个方面：
从数据中提取其深层次的规律性
创建数据产品
要从数据中提取其深层次的规律性，意味着要使用统计算法提炼出有价值的信息。数据产品则是一种软件系统，其核心功能取决于对数据的统计分析和机器学习的应用。Google AdWords或Facebook里的“你可能认识的人”就是数据产品的两个例子。
1.2.1　从数据分析到数据科学的根本性转变
从数据分析到数据科学的根本转变的根源，是对更准确的预测和创建更好的数据产品需求的不断增长。
让我们来看一个示例，其中解释了数据

微信关注我们

原文链接：https://yq.aliyun.com/articles/117372

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用Hadoop还是Spark到底怎么决断?

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。或许我们可以这样说，Hadoop是大数据的启蒙，借助Hadoop让企业步入了大数据时代。而最近几年，Spark的风头似乎超越了Hadoop。而且网上有一种声音就是Spark将会取代Hadoop成为大数据的统治者，事实上是这样么？且听笔者娓娓道来。其实，Hadoop与Spark不存在冲突，因为Spark是运行于Hadoop顶层的内存处理方案，也就是说目前部署Spark的企业，其实都在现有的Hadoop集群中运行Spark。主流的Hadoop发行版本提供商比如Cloudera和Hortonworks将Spark列为他们Hadoop发行的一部分。我们可以说Hadoop和Spark均是大数据框架，都提供了执行常见大数据任务的工具。虽然Spark在某些应用场景下比Hadoop，但是Spark本身没有一个分布式存储系统，而是依赖于Hadoop的HDFS。Spark的高级分析应用也是依赖于HDFS存储数据。与Hadoop相比，Spark真正的优势在于速度。因为Spark的大部分操作都是在内存中，而Hadoop的Ma...

2017-07-03

490

前　言在过去的数年中，Hadoop已经成为数据集成平台的标准解决方案。各企业都在数据基础设施架构中融入新的技术，这要求系统工程师和数据管理员要迅速地掌握新组件的各个方面。由于Hadoop是一款包含多种软件的产品，其中集成了多种不同的开源项目，因此掌握这些技术并不简单，需要进行正确安装和配置才能确保Hadoop平台的健壮性和稳定性。许多已有的Hadoop发行版本通过某种类型的图形界面来简化Hadoop的安装。这种方法极大地缩短了构建完整Hadoop集群所需的时间，同时也降低了管理集群配置的复杂性。自动化安装和配置的问题在于隐藏了许多有关Hadoop组件协同工作的重要细节，比如某些组件需要其他组件的原因或者哪些是最为关键的配置参数，等等。本书前6章讲解如何手动安装和配置所有主要Hadoop组件。通过设置一个完全可运行的集群，你将会对H

2017-07-03

515

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。