《Spark与Hadoop大数据分析》一一1.2　大数据科学以及Hadoop和Spark在其中承担的角色-低调大师

《Spark与Hadoop大数据分析》一一1.2　大数据科学以及Hadoop和Spark在其中承担的角色

2017-07-02 556

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.2节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　大数据科学以及Hadoop和Spark在其中承担的角色

数据科学的工作体现在以下这两个方面：
从数据中提取其深层次的规律性
创建数据产品
要从数据中提取其深层次的规律性，意味着要使用统计算法提炼出有价值的信息。数据产品则是一种软件系统，其核心功能取决于对数据的统计分析和机器学习的应用。Google AdWords或Facebook里的“你可能认识的人”就是数据产品的两个例子。
1.2.1　从数据分析到数据科学的根本性转变
从数据分析到数据科学的根本转变的根源，是对更准确的预测和创建更好的数据产品需求的不断增长。
让我们来看一个示例，其中解释了数据

微信关注我们

原文链接：https://yq.aliyun.com/articles/117372

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用Hadoop还是Spark到底怎么决断?

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。或许我们可以这样说，Hadoop是大数据的启蒙，借助Hadoop让企业步入了大数据时代。而最近几年，Spark的风头似乎超越了Hadoop。而且网上有一种声音就是Spark将会取代Hadoop成为大数据的统治者，事实上是这样么？且听笔者娓娓道来。其实，Hadoop与Spark不存在冲突，因为Spark是运行于Hadoop顶层的内存处理方案，也就是说目前部署Spark的企业，其实都在现有的Hadoop集群中运行Spark。主流的Hadoop发行版本提供商比如Cloudera和Hortonworks将Spark列为他们Hadoop发行的一部分。我们可以说Hadoop和Spark均是大数据框架，都提供了执行常见大数据任务的工具。虽然Spark在某些应用场景下比Hadoop，但是Spark本身没有一个分布式存储系统，而是依赖于Hadoop的HDFS。Spark的高级分析应用也是依赖于HDFS存储数据。与Hadoop相比，Spark真正的优势在于速度。因为Spark的大部分操作都是在内存中，而Hadoop的Ma...

2017-07-03

475

《Hadoop集群与安全》一导读

前　言在过去的数年中，Hadoop已经成为数据集成平台的标准解决方案。各企业都在数据基础设施架构中融入新的技术，这要求系统工程师和数据管理员要迅速地掌握新组件的各个方面。由于Hadoop是一款包含多种软件的产品，其中集成了多种不同的开源项目，因此掌握这些技术并不简单，需要进行正确安装和配置才能确保Hadoop平台的健壮性和稳定性。许多已有的Hadoop发行版本通过某种类型的图形界面来简化Hadoop的安装。这种方法极大地缩短了构建完整Hadoop集群所需的时间，同时也降低了管理集群配置的复杂性。自动化安装和配置的问题在于隐藏了许多有关Hadoop组件协同工作的重要细节，比如某些组件需要其他组件的原因或者哪些是最为关键的配置参数，等等。本书前6章讲解如何手动安装和配置所有主要Hadoop组件。通过设置一个完全可运行的集群，你将会对H

2017-07-03

504

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。