《Spark与Hadoop大数据分析》——2.1　Apache Hadoop概述-低调大师

《Spark与Hadoop大数据分析》——2.1　Apache Hadoop概述

2017-08-31 575

2.1　Apache Hadoop概述

Apache Hadoop 是一个软件框架，可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高的低价通用硬件来构建。Hadoop 的设计能够在没有用户干预的情况下优雅地处理这些故障。此外，Hadoop 采用了让计算贴近数据（move computation to the data）的方法，从而显著降低了网络流量。它的用户能够快速开发并行的应用程序，从而专注于业务逻辑，而无需承担分发数据、分发用于并行处理的代码以及处理故障等繁重的工作。Apache Hadoop 主要包含四个项目：Hadoop Common、Hadoop 分布式文件系统（ Hadoop Distributed File System，HDFS）、YARN（Yet

微信关注我们

原文链接：https://yq.aliyun.com/articles/212063

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Facebook专家：Hadoop不足以处理大数据

文章讲的是 Facebook专家：Hadoop不足以处理大数据，随着大数据在各个业务领域的发展和应用，相关的技术和工具也层出不穷，其中Hadoop框架受到更多的关注和应用。Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示，不要小看关系型数据库技术的价值。他认为，Hadoop编程框架可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。有很多很普及的大数据的观念需要被质疑，首先一点就是人们普遍认为你可以简单地利用Hadoop，并且Hadoop易于使用。问题是，Hadoop是一项技术，而大数据和技术无关。大数据是和业务需求有关的。事实上，大数据应该包括Hadoop和关系型数据库以及任何其它适合于我们手头任务的技术。 Rudin说，Facebook的业务模式依赖于其对于超过10亿社交媒体用户的用户资料和活动数据的处理，从而提供有针对性的广告。然而，对于我们需要做的事情而言，Hadoop并不总是最好的工具。例如，在Hadoop中对一个数据集做广泛并且探索性的分析是很有意义的，但关系型存...

2017-09-01

488

文章讲的是如何构建企业级Hadoop/Spark分析平台，一说大数据，人们往往想到Hadoop。这固然不错，但随着大数据技术的深入应用，多种类数据应用要求的不断提出，一些Hadoop不甚专注的领域开始被人们注意，相关技术也迅速获得专业技术领域的应用。最近半年来的Spark之热即是这样的一个典型。 Spark是一个基于内存计算的开源集群计算系统，目的是更快速地进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发，早期核心部分的代码只有3万行，非常轻量级。Spark 提供了与Hadoop Map/Reduce 相似的分布式计算框架，但基于内存和迭代优化的设计，因此在交互式数据分析和数据挖掘工作负载中表现更优秀。进入2014年以后，Spark开源生态系统得到了大幅增长，已成为大数据领域最活跃的开源项目之一。Spark之所以吸引如此多的关注，究其原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特征。首先，Spark对分布的数据集进行抽象，创新地提出RDD(Resilient Distributed Dat...

2017-09-01

504

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。