HDFS应用场景、原理、基本架构-低调大师

HDFS应用场景、原理、基本架构

2018-05-23 526

一、HDFS是什么
源自于Google的GFS论文
发表于2003年10月
HDFS是GFS克隆版 
Hadoop Distributed File System
易于扩展的分布式文件系统
运行在大量普通廉价机器上，提供容错机制
为大量用户提供性能不错的文件存取服务

1、HDFS优点

高容错性
数据自动保存多个副本
副本丢失后，自动恢复
适合批处理
移动计算而非数据
数据位置暴露给计算框架
适合大数据处理
GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点规模
流式文件访问
一次性写入，多次读取
保证数据一致性
可构建在廉价机器上
通过多副本提高可靠性
提供了容错和恢复机制

2、HDFS缺点

低延迟数据访问
比如毫秒级
低延迟与高吞吐率
小文件存取
占用NameNode大量内存
寻道时间超过读取时间
并发写入、文件随机修改
一个文件只能有一个写者
仅支持append

3、HDFS设计思想

4、HDFS数据块（block）

文件被切分成固定大小的数据块
默认数据块大小为64MB，可配置
若文件大小不到64MB，则单独存成一个block
为何数据块如此之大 
数据传输时间超过寻道时间（高吞吐率）
一个文件存储方式
按大小被切分成若干个block，存储到不同节点上
默认情况下每个block有三个副本

5、HDFS写流程

6、HDFS读流程

7、HDFS典型物理拓扑

8、HDFS副本放置策略

9、HDFS可靠性策略

10、HDFS不适合存储小文件

元信息存储在NameNode内存中
一个节点的内存是有限的
存取大量小文件消耗大量的寻道时间
类比拷贝大量小文件与拷贝同等大小的一个大文件
NameNode存储block数目是有限的
一个block元信息消耗大约150 byte内存
存储1亿个block，大约需要20GB内存
如果一个文件大小为10K，则1亿个文件大小仅为1TB（但要消耗掉NameNode 20GB内存）

二、HDFS访问方式

HDFS Shell命令
HDFS Java API
HDFS REST API
HDFS Fuse：实现了fuse协议
HDFS lib hdfs：C/C++访问接口
HDFS 其他语言编程API
使用thrift实现 ** 支持C++、Python、php、C#等语言

HDFS Shell命令—概览

请点击此处输入图片描述
将本地文件上传到HDFS上

bin/hadoop fs -copyFromLocal /local/data /hdfs/data

删除文件/目录

bin/hadoop fs -rmr /hdfs/data

创建目录

bin/hadoop fs -mkdir /hdfs/data

HDFS Shell命令—管理脚本

bin/hadoop dfsadmin

在sbin目录下

 start-all.sh
 start-dfs.sh
 start-yarn.sh
 hadoop-deamon(s).sh

单独启动某个服务

 hadoop-deamon.sh start namenode
 hadoop-deamons.sh start namenode（通过SSH登录到各个节点）

HDFS Shell命令—文件管理命令fsck

请点击此处输入图片描述
检查hdfs中文件的健康状况
查找缺失的块以及过少或过多副本的块
查看一个文件的所有数据块位置
删除损坏的数据块

HDFS Shell命令—数据均衡器balancer

数据块重分布

bin/start-balancer.sh -threshold <percentage of disk capacity>

percentage of disk capacity
HDFS达到平衡状态的磁盘使用率偏差值
值越低各节点越平衡，但消耗时间也更长

HDFS Shell命令—设置目录份额

限制一个目录最多使用磁盘空间

bin/hadoop dfsadmin -setSpaceQuota 1t /user/username

bin/hadoop dfsadmin -setQuota 10000 /user/username

HDFS Shell命令—增加/移除节点

三、HDFS Java API介绍

Configuration类：该类的对象封装了配置信息，这些配置信息来自core-.xml；
FileSystem类：文件系统类，可使用该类的方法对文件/目录进行操作。一般通过FileSystem的静态方法 get获得一个文件系统对象；
FSDataInputStream和FSDataOutputStream类：HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。以上类均来自java包：org.apache.hadoop.fs

HDFS Java程序举例

将本地文件拷贝到HDFS上

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path srcPath = new Path(srcFile);
Path dstPath = new Path(dstFile);
hdfs.copyFromLocalFile(srcPath, dstPath);

创建HDFS文件；

//byte[] buff – 文件内容
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path = new Path(fileName);
FSDataOutputStream outputStream = hdfs.create(path);
outputStream.write(buff, 0, buff.length);

四、Hadoop 2.0新特性

NameNode HA
NameNode Federation
HDFS 快照（snapshot）
HDFS 缓存（in-memory cache）
HDFS ACL
异构层级存储结构（Heterogeneous Storage hierarchy）

1、HA与Federation

2、异构层级存储结构—背景

HDFS将所有存储介质抽象成性能相同的Disk

<property>
<name>dfs.datanode.data.dir</name>
<value>/dir0,/dir1,/dir2,/dir3</value>
</property>

存储介质种类繁多，一个集群中存在多种异构介质
 磁盘、SSD、RAM等
多种类型的任务企图同时运行在同一个Hadoop集群中
批处理，交互式处理，实时处理
不同性能要求的数据，最好存储在不同类别的存储介质上

3、异构层级存储结构—原理

<property>
<name>dfs.datanode.data.dir</name>
<value>[disk]/dir0,[disk]/dir1,[ssd]/dir2,[ssd]/dir3</value>
</property>

4、异构层级存储结构—原理

HDFS仅提供了一种异构存储结构，并不知道存储介质的性能；
HDFS为用户提供了API，以控制目录/文件写到什么介质上；
HDFS为管理员提供了管理工具，可限制每个用户对每种介质的可使用份额；
目前完成度不高
阶段1：DataNode支持异构存储介质（HDFS-2832，完成）
阶段2：为用户提供访问API（HDFS-5682，未完成）

五、HDFS ACL—基于POSIX ACL的实现

六、HDFS快照—背景

HDFS上文件和目录是不断变化的，快照可以帮助用户保存某个时刻的数据；
HDFS快照的作用
防止用户误操作删除数据
数据备份

HDFS快照—基本使用方法

七、HDFS缓存

HDFS自身不提供数据缓存功能，而是使用OS缓存容易内存浪费，eg.一个block三个副本同时被缓存
多种计算框架共存，均将HDFS作为共享存储系统
MapReduce：离线计算，充分利用磁盘
Impala：低延迟计算，充分利用内存
Spark：内存计算框架
HDFS应让多种混合计算类型共存一个集群中
合理的使用内存、磁盘等资源
比如，高频访问的特点文件应被尽可能长期缓存，防止置换到磁盘上

HDFS缓存—原理

HDFS缓存—实现情况
用户需通过命令显式的将一个目录或文件加入/移除缓存
不支持块级别的缓存
不支持自动化缓存
可设置缓存失效时间
缓存目录：仅对一级文件进行缓存
不会递归缓存所有文件与目录
以pool的形式组织缓存资源
借助YARN的资源管理方式，将缓存划分到不同pool中
每个pool有类linux权限管理机制、缓存上限、失效时间等
独立管理内存，未与资源管理系统YARN集成
用户可为每个DN设置缓存大小，该值独立于YARN

相关内容推荐：基于Dubbo的分布式系统架构实战

微信关注我们

原文链接：https://yq.aliyun.com/articles/596565

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

搜狗输入法和百度输入法被爆泄露用户隐私

昨天有网友爆料，百度和搜狗输入法在联网状态下会上传用户的打字信息到服务器，并且全部都用明文传输。这就意味着，黑客可以轻松破解用户全部的打字信息，且所有信息被上传到搜狗和百度的云端。该网友呼吁百度和搜狗输入法停止侵权行为。截至昨天下午，百度和搜狗已经对该漏洞进行修复，关闭了明文上传打字记录的功能。网络工程师@蒸米spark昨天在微博上发布了这封名为《有些事你不记得了，输入法还帮你记得》的公开信。信中称，在联网状态下，百度和搜狗输入法会上传你的打字信息到服务器，并且全部都用明文传输，严重的泄露了用户的隐私。他表示，自己先用百度云输入法打了一句话，然后回到一个名为Charles的网络数据分析包，发现刚才打的句子已经被上传到了百度的服务器。并且可以很清楚地看到整个过程都是用的http协议，这意味着输入法是完全没有加密地进行了明文传输。明文传输，从广义上讲，就是一段未经过任何加密的数据，其他程序员可以轻松查看到用户的全部信息。不论是密码、举报信或新闻，都可以在第一时间被他人看到。事实上，早在2013年，在乌云网站就有“搜狗输入法可导致大量用户敏感信息泄露”的漏洞爆出。同时，由于搜狗输入法支...

2018-05-24

646

基于自定义配置文件初始化ElasticSearch客户端方法介绍 bboss es booter初始化的时候会按顺序扫描默认加载以下3个配置文件： conf/elasticsearch.properties,application.properties,config/application.properties 本文介绍基于自定义配置文件初始化bboss es方法，非常简单看代码： /** * boot操作必须在所有的ClientInterface组件创建之前调用 * 按照默认的配置文件初始化elasticsearch客户端工具 * conf/elasticsearch.properties,application.properties,config/application.properties */ //ElasticSearchBoot.boot(); /** * boot操作必须在所有的ClientInterface组件创建之前调用 * 根据指定的配置文件初始化elasticsearch客户端工具 * @param configFile 指定1到多个多个ElasticSearch...

2018-05-24

672

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。