干货|大数据Hadoop快速入门教程-低调大师

干货|大数据Hadoop快速入门教程

2017-07-31 539

1、Hadoop生态概况

Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点。

Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下

2、HDFS

源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障

HDFS简化了文件一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器

3、Mapreduce

源自于谷歌的MapReduce论文，用以进行大数据量的计算，它屏蔽了分布式计算框架细节，将计算抽象成map和reduce两部分

4、HBASE(分布式列存数据库)

源自谷歌的Bigtable论文，是一个建立在HDFS之上，面向列的针对结构化的数据可伸缩，高可靠，高性能分布式和面向列的动态模式数据库

5、zookeeper

解决分布式环境下数据管理问题，统一命名，状态同步，集群管理，配置同步等

6、HIVE

由Facebook开源，定义了一种类似sql查询语言，将SQL转化为mapreduce任务在Hadoop上面执行

7、flume

日志收集工具

8、yarn分布式资源管理器

是下一代mapreduce，主要解决原始的Hadoop扩展性较差，不支持多种计算框架而提出的，架构如下

9、spark

spark提供了一个更快更通用的数据处理平台，和Hadoop相比，spark可以让你的程序在内存中运行

10、kafka

分布式消息队列，主要用于处理活跃的流式数据

11、Hadoop伪分布式部署

目前而言，不收费的Hadoop版本主要有三个，都是国外厂商，分别是

1、Apache原始版本
2、CDH版本，对于国内用户而言，绝大多数选择该版本
3、HDP版本

这里我们选择CDH版本hadoop-2.6.0-cdh5.8.2.tar.gz，环境是CentOS7.1，jdk需要1.7.0_55以上

[root@hadoop1 ~]# useradd hadoop

我的系统默认自带的java环境如下

增加如下环境变量

做好如下授权

这里以Hadoop用户来进行管理和启动Hadoop的各种服务

查看服务启动情况

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/185679

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

几款开源的ETL工具及ELT初探

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。我们在下方列出了 7 款开源的 ETL 工具，并讨论了从 ETL 转向“无 ETL”的过程，因为 ELT 正迅速成为现代数据和云环境的终极过程。注：原文包含 11 项 ETL 工具，本文提取了其中开源的 7 项，另增加了一款使用普遍的 Kettle，如需对另外 4 项进行了解，可点击文末链接进行查看。优秀的 ETL 工具 1、Apache Camel Apache Camel 是一个非常强大的基于规则的路由以及媒介引擎，该引擎提供了一个基于 POJO 的企业应用模式(Enterprise Integration Patterns)的实现，你可以采用其异常强大且十分易用的 API (可以说是一种 Java 的领域定义语言 Domain Specific Language...

2017-08-01

672

前　言云计算（cloud computing）如今已成为信息与通信技术（ICT）产业中的又一个流行语（buzzword）。众多IT厂商承诺提供计算、存储和应用托管服务，其服务范围涵盖了几大洲，并提供基于服务水平协议（Service Level Agreement，SLA）支持的性能和运行时间。尽管这些“云”是传统数据中心的自然进化，它们以展现资源（计算、数据/存储及应用）作为基于标准的Web服务并遵循“实用”的定价模式进行区分。根据客户的计算资源、存储及数据传输的利用率收费。这些“云”提供了基于订阅的访问基础设施、平台及应用的基础设施即服务（Infrastructure as a Service，IaaS）、平台即服务（Platform as a Service，PaaS）和软件即服务（Software as a Service，

2017-08-01

625

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。