54.HDFS分布式文件系统-低调大师

54.HDFS分布式文件系统

2017-11-13 524

HDFS分布式文件系统

HDFS系统借助于一款hadoop工具进行部署，文件系统的主要优势是主要是提高客户端的读取效率，假如一块1TB的磁盘数据需要读取，读取速度为100MB/S，如果将1块磁盘中的数据分别存储到100块磁盘上，那么当用户读取时，它们并行运行，那么用户读取操作就可以瞬间完成。

一个HDFS群集由一个运行于master上的Namenode和多个运行于slave上的Datanode组成。

Namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。

Datanode负责管理存储的数据。

文件以块形式进行在datanode中存储，假设一个块20MB，块的副本数为3，设置块的副本数来达到冗余效果，防止单个datanode磁盘故障后数据丢失。将相同的副本块存储到不同的datanode中实现冗余，大文件将被切成小块存储。

DHFS文件系统搭建步骤：

Master和Slave服务器的先决环境：

v 关闭防火墙等基本操作

# iptables -F

# setenforce 0

# ifconfig

v 配置hosts解析

# vim /etc/hosts

修改内容：

192.168.0.133 master

192.168.0.134 slave1

192.168.0.135 slave2

v 修改主机名

# vim /etc/sysconfig/network

修改内容：

NETWORKING=yes

HOSTNAME=master

# hostname master

Master服务器上：

v 创建hadoop运行用户和密码

# useradd hadoop

# passwd hadoop

v 部署JAVA环境

# tar xzvf jdk-7u65-linux-x64.gz

# mv jdk1.7.0_65/ /usr/local/java

v 安装hadoop软件

# tar xzvf hadoop-2.4.0.tar.gz

# mv hadoop-2.4.0 /usr/local/hadoop

# chown -R hadoop.hadoop /usr/local/hadoop

v 设置环境变量

# vim /etc/profile

添加内容：

JAVA_HOME=/usr/local/java

HADOOP_HOME=/usr/local/hadoop

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source /etc/profile

v 修改hadoop配置文件

# vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh Hadoop的环境文件

添加内容：

JAVA_HOME=/usr/local/java

# vim /usr/local/hadoop/etc/hadoop/core-site.xml 核心配置文件

添加内容：

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>hadoop</description>

</property>

</configuration>

# cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

# vim /usr/local/hadoop/etc/hadoop/mapred-site.xml Hadoop的进程配置文件

添加内容：

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

<name>mapred.local.dir</name>

<value>/usr/local/hadoop/var</value>

</property>

</configuration>

# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml Namenode和Datanode配置文件

添加内容：

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/name</value>

</property>

<name>dfs.datanade.data.dir</name>

<value>file:/usr/local/hadoop/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enable</name>

</property>

</configuration>

注：

Namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。

Datanode负责管理存储的数据。

# vim /usr/local/hadoop/etc/hadoop/masters

添加内容：

master

# vim /usr/local/hadoop/etc/hadoop/slaves

添加内容：

Slave1

Slave2

v 部署SSH，配置免验证开启Hadoop

# su hadoop

$ ssh-keygen

$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1

$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

v 通过SSH将JAVA,HADOOP配置文件同步到Slave服务器

# scp -r /usr/local/hadoop slave1:/usr/local/

# scp -r /usr/local/java slave1:/usr/local/

# scp -r /etc/profile slave1:/etc/

# scp -r /usr/local/hadoop slave2:/usr/local/

# scp -r /usr/local/java slave2:/usr/local/

# scp -r /etc/profile slave2:/etc/

Slave服务器上：

#source /etc/profile

#chown -R hadoop.hadoop /usr/local/hadoop

部署完后HDFS群集的操作：

Master服务器上操作：

v 格式化HDFS文件系统

#su hadoop

$hdfs namenode -format

看到下面的日志信息则成功格式化：

16/10/13 10:50:22 INFO common.Storage: Storage directory /usr/local/hadoop/name has been successfully formatted.

v 检查新生成的目录

$ ll /usr/local/hadoop/name/

看到：

drwxr-xr-x. 2 root root 4096 10月 13 10:50 current

v 启动hadoop群集

$ /usr/local/hadoop/sbin/start-all.sh

v 验证HDFS节点各进程是否正常

Master上显示：

[hadoop@master Desktop]$ jps

6114 NameNode

6438 ResourceManager

6579 Jps

6304 SecondaryNameNode

Slaves上显示：[root@localhost 桌面]# jps

5387 Jps

5303 NodeManager

5191 DataNode

v 验证访问

访问https：//192.168.0.133:50070 可以看到视图系统

为DHFS群集添加节点：

2 关闭防火墙等基本操作

2 配置host解析

2 修改主机名

2 部署JAVA环境

2 设置环境变量

2 安装hadoop软件

2 从Master服务器通过SSH同步配置文件到节点服务器

2 新节点启动并平衡节点已经存储的数据

$hadoop-daemon.sh start datanode

$hadoop-daemon.sh start tasktracker

$jps

$hadoop dfsadmin -report 查看群集信息

为DHFS群集删除节点：

$ vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加内容：

<name>dfs.hosts.exclude</name>

<value>/usr/localhadoop/etc/hadoop/exclude</value>

</property>

$vim /usr/local/hadoop/etc/hadoop/excludes

添加内容：

slave4 要删除的节点名

$hdfs dfsadmin -refreshnodes 刷新配置

$jps

$hadoop dfsadmin -report 查看群集信息

Hadoop基本命令的使用

命令	作用
Hadoop fs -help	帮助
Hadoop fs -usage	帮助
Hadoop fs -ls	显示
Hadoop fs -mkdir	创建
Hadoop fs -put	上传
Hadoop fs -report	查看节点状态信息
Hadoop dfsadmin -safemode enter	开启安全模式
Hadoop dfsadmin -safemode leave	开启安全模式
Hadoop fs -copyfromlocal 本地源文件HDFS目标目录	将本地文件复制到HDFS上
Hadoop fs -copylocal HDFS文件本地	将HDFS中的文件复制到本地
Hadoop fs -chgrp 组名 DHFS文件或目录	修改属组
Hadoop fs -chmode 755 DHFS文件或目录	修改权限
Hadoop fs -chown 属主.属组 DHFS文件或目录	修改所有者
Hadoop fs -du DHFS文件或目录	统计显示目录中文件大小
Hadoop fs -getmerge -nl DHFS文件本地文件	合并文件

本文转自触动的风 51CTO博客，原文链接:http://blog.51cto.com/10978134/1945809

微信关注我们

原文链接：https://yq.aliyun.com/articles/536920

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop Backup Node

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。 Namenode的元数据： Hadoop Namenode元数据主要是两个文件：edits和fsimage。fsimage是HDFS的最新状态（截止到fsimage文件创建时间的最新状态）文件，而edits是自fsimage创建后的namespace操作日志。Namenode每次启动的时候，都要合并两个文件，按照edits的记录，把fsimage文件更新到最新。如果是一个大的、比较繁忙的集群，它的edits文件增长会非常快，这样下次Namenode重启的过程会非常慢，因为它要进行大量的操作。为了加速启动过程，同时为了元数据的安全考虑，Hadoop搞了一个Secondary Namenode，它一般是一台独立的机器，内存大小与Namenode服务器相同。 ...

2017-11-14

463

一、简介 MongoDB的聚合框架，主要用来对集合中的文档进行变换和组合，从而对数据进行分析以加以利用。聚合框架的基本思路是：采用多个构件来创建一个管道，用于对一连串的文档进行处理。这些构件包括：筛选(filtering)、投影(projecting)、分组(grouping)、排序(sorting)、限制(limiting)和跳过(skipping)。使用聚合框架的方式： db.集合.aggregate（构件1，构件2…）注意：由于聚合的结果要返回到客户端，因此聚合结果必须限制在16M以内，这是MongoDB支持的最大响应消息的大小。二、使用例子 2.1、准备样例数据 1 2 3 4 5 for (vari=0;i<100;i++){ for (varj=0;j<4;j++){ db.scores.insert({ "studentId" : "s" +i, "course" : "课程" +j, "score" :Math.random()*100}); } } 2.2、找出考80分以上的课程门数最多的3个学生步骤： 1：找到所有考了80分以上的学...

2017-11-14

513

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。