What is Apache Hadoop?-低调大师

What is Apache Hadoop?

2017-12-17 501

本文来自：自译+百度
Apache Hadoop 是一款可靠、可升级、分布式计算的开源软件。
Apache Hadoop 的开源软件库是专门为处理跨大数据簇而设计的处理模型族。它主要被设计用来按比例从一个到成千上万的无服务平均的分配计算任务和内存。而不是依靠硬件提供高可用性，库本身的目的是检测和处理应用层的故障，因此再一组计算机上提供高可用性服务，每一台计算机都容易出现故障。
这个项目包括这些模型：
Hadoop Common:支持其它Hadoop模块的通用实用程序。
Hadoop Distributed File System（HDFS）:提供对应用程序数据的高通量访问的分布式文件系统。
Hadoop YARN:作业调度与集群资源管理框架。
Hadoop MapReduce:基于线性的大数据量并行处理系统。
Apache 中的其它与Hadoop相关的项目包括：
Ambari:一个基于网络的工具、配置、管理、监控Apache的Hadoop集群包括Hadoop HDFSHiveHCatalogHBaseZooKeeperOoziePig and Sqoop.Ambari还提供了一个仪表板查看集群健康如热图和查看MapReduce能力，Pig和Hive应用视觉和功能，一个用户友好的方式其性能诊断。
Avro:数据序列化系统。
Cassandra:无单点故障的可扩展多主数据库。
ChukWa:一个用于管理大型分布式系统的数据采集系统。
HBase:一个可扩展的，支持结构化数据存储的大型分布式数据库。
Hive:数据仓库的基础设施，提供数据汇总和专案查询。
Mahout:一个可扩展的机器学习和数据挖掘库。
Pig:高级数据流语言和执行框架的并行计算。
Spark:快速和通用计算的Hadoop数据引擎。Spark提供了一个简单而富有表现力的比那成模型，支持多种应用，包括ETL，机器学习，数据流处理，图形计算。
Tez:广义数据流变成框架，建立在Hadoop之上，他提供了一个强大灵活的引擎来执行任务的任意DAG为批处理和交互式的使用情况数据的过程。Tez采用Hadoopd的生态系统，在Pig等框架和其它的商业软件中渠道MapReduce Hadoop作为执行表的存在。
ZooKeeper:分布式应用的高性能的协调服务。

微信关注我们

原文链接：https://yq.aliyun.com/articles/292718

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm概念学习系列之什么是实时流计算？

什么是实时流计算？ 1、实时流计算背景 2、实时计算应用场景 3、实时计算处理流程 4、实时计算框架什么是实时流计算？所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理、 Web 应用、生产制造、传感检测，等等。在这种数据流模型中，单独的数据单元可能是相关的元组（Tuple），如网络测量、呼叫记录、网页访问等产生的数据。但是，这些数据以大量、快速、时变（可能是不可预知）的数据流持续到达，由此产生了一些基础性的新的研究问题——实时计算。实时计算的一个重要方向就是实时流计算。实时流计算背景数据的价值随着时间的流逝而降低，所以事件出现后必须尽快对它们进行处理，最好事件出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。例如商用搜索引擎，像 Google、 Bing 和 Yahoo! 等，通常在用户查询响应中提供结构化的Web 结果，同时也插入基于流量的点击付费模式的文本广告。为了在页面上的最佳位置展现最相关的广...

2017-12-18

494

简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。学习目录 1.Cloudera Hadoop 环境搭建 2.使用Docker搭建Cloudera Hadoop 环境搭建 3.HDFS基本Shell操作 4.Hadoop编程调用HDFS(JAVA) 5.Hadoop编程调用HDFS(PY...

2017-12-18

532

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。