Spark与Hadoop两大技术趋势解-低调大师

Spark与Hadoop两大技术趋势解

2017-07-31 520

开源数据集如今深受开发者喜爱，比如谷歌的Images dataset数据集，YouTube-8M数据集等。通过对数据集里的数据进行分析，可以发现许多隐藏信息，比如客户喜好、未知相关性，市场趋势以及其他有用的商业信息。大数据分析对企业降低成本，准确掌握市场趋势，更快完成产品迭代十分有用。说到大数据分析，16年基本被Spark与Hadoop霸屏，到底是什么样的魔力让它们足以引起大数据世界的波动，未来又会如何发展呢?

Apache Spark

Apache Spark起源于加州大学伯克利分校，对于复杂分析来说是一个十分不错的开源处理引擎。Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。每一个Spark应用程序，都由一个驱动程序组成，运行用户的main函数，并且在一个集群上执行各种并行操作。

Spark提供的主要的抽象概念是具备容错能力的弹性分布式数据集，一个覆盖整个集群的只读多重数据项集。弹性分布式数据集(RDD)帮助实现交互式算法，通过多次访问数据集，实现交互式数据分析，应用延迟可以有不同程度上的减少，机器学习系统训练算法的交互性是使用Apache Spark的初始动力。以下是对Apache Spark的分析，看看是哪些特性使Apache Spark如此火热吧。

1、快速处理

大数据的处理速度至关重要，Apache Spark通过减少磁盘读写次数，降低磁盘I/O，使Hadoop集群上的应用程序操作比内存中快一百倍，比磁盘快十倍。

2、易用，支持多种语言

Spark允许使用Java，Sacla甚至Python进行快速编写。开发人员不仅可以使用熟悉的编程语言也可以运行这些应用程序。Spark本身自带了一个超过80个高阶操作符集合。而且还可以用它在shell中以交互式地查询数据。

3、支持复杂分析

除了Map和Reduce操作之外，Spark还支持SQL查询，流数据，机器学习和图表数据处理，此外，用户可以把所有这些功能都放在一个工作流中使用也可以单独使用。

4、实时流式处理

Apache Spark支持实时流式处理，它可以在进行数据操作的同时使用Spark Streaming。

5、与现有Hadoop及其上的数据整合

Spark可以在Hadoop Yarn集群管理器上独立操作，包括读取Hadoop上的数据。该特性使Spark十分适用于现有纯Hadoop应用程序的迁移。

6、基于Hadoop的多核服务器

大部分企业逐渐从昂贵的大型机和数据仓库平台向基于Hadoop的多核服务器转型。Hadoop是一个由java语言编写而成的开源分布式系统基础架构，其支持分布式环境中的大型数据集的存储和处理操作。很多公司都将Hadoop作为其大数据平台进行使用。

Hadoop

Hadoop是由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

1、低成本的数据存储

与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，Hadoop是开源的，项目的软件成本因此会大大降低。

2、高效

Hadoop可以运行分析算法,因为它被设计用来处理各种形式的大数据。在Hadoop上进行数据分析可以使分析更高效，Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

3、批量数据处理

Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS是Hadoop的一大创举，分布式存储使文件存放在众多节点上，只需要一个节点去记录文件的元数据信息(主要是文件的位置)，访问文件时先访问元数据节点，获取文件所在的位置，然后在获取文件即可。此外，MapReduce也可以做大数据处理，即以价值为导向，对大数据加工、挖掘和优化等各种处理。其思想就是“分而治之”，将大任务分成若干小任务处理。

4、与数据仓库相辅相成

有很多数据集被从数据仓库卸到Hadoop平台上，或者一些新的数据会直接到Hadoop中。企业无非就是希望有一个好的平台来存储、处理、分析数据，以支持可以被集成在不同级别的不同用例。

5、物联网和Hadoop

据预测,未来20年物联网对全球GDP的贡献将会增长10到15万亿美元左右。物联网的核心是流和大数据。Hadoop被用来进行多事务数据存储，数据，统计算法和机器学习指出基于历史数据分析得到未来趋势的可能性。对过去进行分析是了解未来很好的一个途径，通过预测分析，未来的物联网世界将更加纯粹。

未来怎么走?

技术的变革、更新换代，本身是好事，但很多时候，人才的培养跟不上技术变革的脚步。即便是最先进的学府可能都还未来得及更换教科书，这时对企业来说，新技术带来的超高性价比就显得毫无意义了，因为相应的人力成本在上升。

有些人很喜欢及时更新知识储备，认为新技术的出现会取代旧技术。但各有各的好，新欢不一定敌得过旧爱，要看需求，别跟风。不过，越是Spark、Hadoop炒得火热，理性思考的人就越少，很多人只是浮于表面，这对技术的发展十分不利。

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/188299

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

手把手教学：使用Elastic search和Kibana进行数据探索（Python语言）

探索性数据分析(EDA)帮助我们认识底层的数据基结构及其动力学，以此来最大限度发掘出数据的可能性。EDA是提取重要变量和检测异常值的关键。尽管存在着很多种机器学习算法，但EDA仍被视为理解和推动业务的最关键算法之一。其实有很多种方式都能够执行实现EDA，例如Python的matplotlib、seaborn库，R语言的ggplot2，而且网络上有很多很好的资源，例如John W. Tukey的“探索性数据分析”， Roger D. Peng 的“用R进行探索性数据分析”等，不胜枚举。在本文中，我主要讲解下如何使用Elastic search和Kibana实现EDA。目录： 1. Elastic search 2. Kibana 3. 创建数据表数据索引链接Kibana 可视化 4. 搜索栏 1. Elastic Search (ES) Elastic Search是一个开放源码，RESTful分布式和可扩展的搜索引擎。由于其简单的设计和分布式特性，Elastic Search从大量级数据(PB)中进行简单或复杂的查询、提取结果都非常迅速。另外相较于传统数据库被模式、表所约束，...

2017-08-01

630

在用户体验达不到所宣传效果之后，IT领域中必然会随之出现“新的热门事件”。目前的新热门事件涉及大数据和对海量分布式数据的快速精准分析。在目前的大数据领域中，Hadoop被作为存储和分配海量数据的软件，而MapReduce则被作为处理这些海量数据的引擎。两者整合在一起可以批处理一些对时效性没有过高要求的数据。那么对于近实时大数据分析应当怎么办呢?作为最先进的下一代开源技术Apache Spark已经为视频、传感器、交易等流数据的分析、机器学习、预测建模创造了条件。它们可以用于基因组研究、封包检测、恶意软件探测和物联网。 Spark不仅可像MapReduce那样用于批处理，对于需要与数据集进行大量交互的算法，Spark还可以将这些运算的中间结果存储在缓存中。相比之下，在带入系统进行下一步处理前，MapReduce必须要将每步运算的结果写入磁盘。这种在内存中对弹性分布式数据集(RDD)的快速处理可以说是Apache Spark的核心能力。 Salient Federal Solutions公司一直致力于使用Spark为政府机构开发分析产品。该公司预测分析主任Dave Vennergr...

2017-08-01

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。