七、链路聚合

NIC teaming，简单的说就是多个物理端口绑定在一起当成一个逻辑端口使用，以便提高带宽，实现负载平衡或高可用的功能。RHEL7里面是通过runner （可以视作一段代码）来实现不同的目的。

配置的基本过程就是配置一个逻辑端口的连接，视作master；然后把需要的物理端口配置成slave 连接，绑定到组。然后把这个逻辑端口分配IP就可以用了

team:高可用性

首先准备两块网卡，它们有不同的MAC地址

                           

创建一个新连接，类型是team连接名称team0。

activebackup表示热备，loadbalance表示负载均衡

master 配置好了，还得配置slave，即将eno16777736和eno33554960两块网卡加入到team0

执行nmcli connection show命令查看team0-1和team0-2的状态

上图可以看出team0-1和team0-2没有连接，执行下列命令连接team0-1和team0-2

执行ifconfig，发现网卡的地址都一样了，这样交换机才能转发包到同一个逻辑端口

最后给team0 分配一个IP地址（也可以直接用图形工具设置IP地址）

测试一下，先看看team0当前状态

关掉eno16777736的连接，自动切换到第二个物理端口了，测试成功

八、rhel7 grub配置文件及排错

RHEL7用了grub2，而不再是grub了

MBR分区的前446个字节存放的是系统引导程序grub，中间64字节是分区表，最后2个字节表示结束。那么什么是grub是怎么工作的呢？

简单的说，开机会经历以下几步：

1、BIOS自检，检查硬件；

2、激活MBR，MBR上不存在文件系统，可以视作硬件一部分，因此可以被直接读取

3、grub加载到内存，生成一个微系统，微系统内置了精简版的文件系统

4、通过这个微系统，他会去引导分区，比如默认一般是sda1上去找内核文件如vmlinuz,然后再调用grub的配置文件。

grub的主要把他的配置文件放在了3个地方。

/boot/grub2/grub.cfg  （/etc/grub2.cfg是/boot/grub2/grub.cfg文件的符号链接）
/etc/grub.d/  
/etc/default/grub

如下所示。他们的关系是 grub.cfg里面通过 ####BEGIN  ##### 这种格式按照顺序调用/etc/grub.d里面的脚本实现不同的功能。grub.d目录里面有很多数字开头的脚本，按照从小到大的顺序执行。以00__header为例,他又会调用 /etc/default/grub 配置文件来实现最基本的开机界面配置

例如：在/etc/grub2.cfg是文件里面调用 /etc/grub.d/10_linux 来配置不同的内核，这里面有2个 menuentry (菜单入口），所以我们开机的时候会看见两个默认选项，一个是普通模式，一个是救援模式

这个是/etc/default/grub 文件。和其他的脚本比较起来，非常简单直观了。后面会举例如何修改

需要注意的是，最好不要直接去修改 /etc/grub2.cfg 文件。这个是因为如果后期升级内核，所有的配置都会失效。如果需要自定义这个文件，我们可以修改对应的脚本或者 /etc/default/grub文件，然后通过 grub2-mkconfig 重新生成grub.cfg文件。

例1：修改启动的等待时间

rhel7默认启动等待时间为5秒，下面将启动时间修改为3秒（注：如果改为-1，那么每次启动时需手动确认才可以）

修改/etc/default/grub文件，如下图所示：

修改之后重新编译生成grub.cfg文件

例2：修改网卡的显示名字，这个前面做网络配置的时候提到过，这里不赘述了。

例3：加密grub

开机界面的时候如果输入e,会打开编辑窗口，我们可以根据需要进入rescue, emergency 或者 shell 模式。如何限制访问。

在/etc/grub.d/00_header 文件末尾，添加以下内容

重新编译生成grub.cfg文件

重启之后输入e，就需要用户和密码才能进入编辑窗口了

以上设置的是明文密码，那如何设置密文口令呢？

加密密码由命令grub2-mkpasswd-pbkdf2生成

在/etc/grub.d/00_header 文件末尾，添加以下内容

cat <<EOF
set superusers=’用户名’
password_pbkdf2 用户名加密密码
EOF

重新编译生成grub.cfg文件

grub2-mkconfig–o/boot/grub2/grub.cfg

重启验证

注：在文本终端模式下，安装并启用gpm后就可复制粘贴了。

在这个编辑窗口，我们可以根据需要进入 rescue，emergency和 shell引导的3种模式。这3种模式对于系统启动排错很有帮助，比如某个服务卡住了无法加载我们可以通过这3种模式来排错。

rescue模式: 在commandline的配置末尾添加s ，类似rhel6之前的单用户模式

按ctrl+x启动

普通模式需要加载的服务很多，但是这个rescue模式加载的就少很多了，输入管理员密码就可以进入了。

emergency模式和rescue模式类似，不过加载的服务更少，把s改成 emergency就行了

 

那么如果忘记root密码了怎么办？ 

方法1：

1、重启系统，按e

2、在linux16那行的最尾部加上一下信息

rd.break console=tty0

3、按ctrl+x启动

4、重新挂载文件系统

5、改变根目录

6、修改root密码

7、在根目录下创建相关文件（用于重新标记selinux环境值）

8、退出，系统将会重启

方法2：

在linux16 的最后一行删除 rhgb quiet, 然后添加 init=/bin/sh, 他会用shell替代默认的daemon进程

按ctrl+x启动

挂载文件系统为可写模式，原因很简单，根目录加载的权限是ro，只读，重新加载成 rw的权限。

这个时候就可以修改密码了，执行passwd，按提示修改root密码

如何之前系统启用了selinux，必须运行以下命令，否则将无法正常启动系统：

创建这个文件会自动在开启的时候重新做标签即用于重新标记 SELINUX 环境值

运行命令exec /sbin/init来正常启动，或者用命令exec /sbin/reboot重启

注意：红帽考试时建议使用方法1，方法2在考试环境中以过时了。

开机排错

例1. grub故障：比如把MBR的前446个字节都覆盖了。

系统重启后则出现如下故障现象

开机的时候会自动尝试从本地，光盘和网络加载引导程序（如果光盘、网络等引导失败则会operatiing systemnot found）；这里是从我的光盘加载的，因为本地的引导程序已经没有了.

选择troubleshooting （排错）

选择resure a red hat enterprise linux system

选择continue，注意有耐心多等一下，有的时候会卡个10秒才有反应

按照提示，切换根到本机的系统

fdisk -l 看看启动分区是哪个，有星号的就是

重装一下 grub2 到启动分区就可以了

重启就OK了

例2：如果grub引导程序没问题，但是我们把内核文件或者grub.cfg配置文件给删除了怎么办

重启之后，直接进入grub的救援模式，这表明引导程序木有问题，但是引导文件找不到了

和前面一样，光盘启动，切换根目录，挂载一下光盘到光盘挂载点, 顺便看看/boot目录，里面空荡荡的，内核文件和配置文件都没了

解决方法就是重新安装内核，可以用rpm 或者yum，用yum需要先卸载当前的，再安装； rpm可以强行--force覆盖安装。

装完内核之后，重新安装一次 grub2, 输入 grub2-install /dev/sda, 然后重新编译一下grub2就行了

重启系统就可以了。

重启之后，如果遇见以下问题：

问题是开机直接进入命令行模式，即使runlevel显示的是5，手动输入startx一样报错。

解决方式是重新安装图形化界面

yum grouplist
yum groupinstall'Server with GUI'

九、磁盘分区、格式化及LVM管理

RHEL7如何对磁盘进行分区和格式化以及如何配置LVM，与以前版本的RHEL区别不大，可以通过disk工具（在图形桌面中运行）或命令工具（如：fdisk、gdisk、parted）管理硬盘设备。fdisk可以配置MBR格式； gdisk配置gpt格式， parted可以自己选择。

传统的硬盘分区都是MBR格式，MBR分区位于0扇区，他一共512字节，前446字节是grub引导程序，这个会在后面学习；中间64字节是分区表，每个分区需要16个字节表示，因此主分区和扩展分区一共只能有4个分区，超过4个的分区只能从扩展分区上再设置逻辑分区来表示。每个分区的大小无法超过2T。 MBR的最后2个字节是结束符号

GPT格式，打破了MBR的限制，可以设置多达128个分区，分区的大小根据操作系统的不同有所变化，但是都突破了2T空间的限制。支持高达 18EB (1EB=1024PB，1PB=1024TB) 的卷大小，允许将主磁盘分区表和备份磁盘分区表用于冗余，还支持唯一的磁盘和分区 ID (GUID)。

与 MBR 分区的磁盘不同，GPT的分区信息是在分区中，而不象MBR一样在主引导扇区。为保护GPT不受MBR类磁盘管理软件的危害，GPT在主引导扇区建立了一个保护分区 (Protective MBR)的MBR分区表，这种分区的类型标识为0xEE，这个保护分区的大小在Windows下为128MB，Mac OS X下为200MB，在Window磁盘管理器里名为GPT保护分区，可让MBR类磁盘管理软件把GPT看成一个未知格式的分区，而不是错误地当成一个未分区的磁盘

在MBR硬盘中，分区信息直接存储于主引导记录(MBR)中（主引导记录中还存储着系统的引导程序）。但在GPT硬盘中，分区表的位置信息储存在GPT头中。但出于兼容性考虑，硬盘的第一个扇区仍然用作MBR，之后才是GPT头。

GPT的结构如下图：

首先看看当前的硬盘信息

可以在/proc/partitions这个文件查看当前的分区

先试试MBR格式的分区，fdisk选项如下所示

输入n，可以创建新的MBR分区，然后输入p可以显示当前的分区状态

重复n的操作，添加其他分区。

注：MBR格式磁盘最多可以创建4个主分区或3个主分区1个扩展分区，在扩展分区中可以创建若干个逻辑分区。

注意id代表了磁盘的用途，可以通过t来改变

看看分区记录

gdisk和fdisk非常类似

创建新分区的时候可以看见可以有128个分区

parted，和前两个相比，更灵活，可以自行设定MBR或GPT格式和分区

通过mklabel msdos可以设定为MBR格式，然后可以通过mkpart来划分分区

msdos设定为MBR格式，gpt设定为GPT格式

primary代表主分区，extended代表扩展分区，logical代表逻辑分区。

setnumber flag state用于设置分区的用途，flag：boot、lvm、raid。State:on/off表示开启或关闭。

parted工具分完区后无需保存，输入q退出即可。

划分好分区之后，还需要格式化才能使用。可以通过 mkfs/mkswap来格式化文件系统

#mkfs.xfs  /dev/分区设备名或#mkfs  -t xfs  /dev/分区设备名

可以修改fstab实现自动加载

测试是否能自动挂载

通过df -h查看已经挂载了的设备

-T选项可以显示设备的文件系统类

有的挂载点路径比较长，自动分2行显示，可以-P强制一行显示

如同进程有pid，用户有uid，每个文件系统也有自己的id，称为uuid，但是不是每个分区都有；如果某个分区没有文件系统，那么这个分区是没有uuid的。

可以通过 blkid（block id）来查看。注意uuid标记的是文件系统，而不是分区。uuid的好处在于可以通过uuid这个唯一值来挂载系统，这样可以避免因为删除硬盘造成的错位，sda6变成了sda5等等

我们可以通过xfs_admin -U 来手动更改文件系统的uuid

附：在目录里面可以通过 ls -ld查看目录的属性，ls -la查看内容的属性，但是-ld显示的目录大小只有4K，这仅仅是目录本身的大小，要想查看目录和其内容的整个大小，可以通过du来查看，如果只想看最终结果，使用-s（summary）就行了

下面我们来看看swap分区如何手动创建。swap类似windows的虚拟内存/page file，当内存不足的时候，数据保存在swap中。

有两种方式可以使用：

第一种单独用一个分区来作为swap

创建一个分区（如：/dev/sdb3），并更改分区ID为82

执行partx  –a /dev/sdb命令，使分区修改生效

在分区上创建swap文件系统

修改fstab实现自动加载

第二种方式是创建一个文件块，这个文件所占有的空间作为swap使用

对于普通的分区，扩展度不高，一旦分区格式化完成，很难灵活的再增加或者减少分区大小。为了解决这个问题，可以使用LVM（逻辑卷）。基本过程是把物理磁盘或者分区初始化称为物理卷（PV），然后把PV加入VG（卷组），最后在VG上划分逻辑的分区（LVM），LVM可以当做普通的分区进行格式化和挂载。

将准备的磁盘或分区创建PV

可以执行pvdisplay查看PV的详细信息，pvremove删除PV

创建完PV，之后，需要创建VG，然后添加PV到VG中

可以通过vgdisplay查看具体的信息，注意PE的Size是4M，这个是增减的最小计算单位

注：创建VG时:使用–s选项的作用是在创建时指定PE块（物理扩展单元）的大小，默认是4M。

如：# vgcreate volGroup03 -s 8M/dev/sdb[12])

我们可以继续往vg里面添加新的分区

若事先没有把sdb3转化为pv，而是直接添加到vg里面，不过一旦添加了他自动就初始化成pv了。

可以添加当然也可以减少pv。  #vgreduce vg00 /dev/sdb3

VG准备就绪，可以创建了LVM了

注意看他的大小其实是112M，因为PE的大小是4M，这个4M是最小单位，不能破开，因此28个PE就是112M

注：大L可以直接指定大小，小l是指定多少个PE的值

也可以设置剩余空间的百分比

删除逻辑卷  #lvremove /dev/vg00/lv01

对已经创建的逻辑卷，可以当做普通分区一样格式化和挂载

修改/etc/fstab文件实现开机自动挂载。

扩展一个逻辑卷，增加300M，首先要确保卷组有大于300M的空闲空间。

执行lvextend扩展逻辑卷大小

注意逻辑卷的文件系统仍然是109M没有改变，我们还需要填充文件系统的空白。

RHEL7可以用xfs_growfs来扩大XFS文件系统，也可以直接用resize2fs 来处理设备

注意的是 XFS系统只能增长，不能减少！因此如果需要减少LVM的话，分区只能使用ext4了

执行df查看扩展后的文件系统

逻辑卷快照

LVM提供一个极妙的设备，它是snaphot。允许管理员创建一个新的块装置，在某个时间点提供了一个精确的逻辑卷副本，快照提供原始卷的静态视图LVM 快照通过把文件系统的改变记录到一个快照分区，因此当你创建一个快照分区时，你不需要使用和你正创建快照的分区一样大小的分区,所需的空间大小取决于快照的使用，所以没有可循的方法来设置此大小。如果快照的大小等于原始卷的大小那么快照永远可用。

快照是特殊的逻辑卷，只可以对逻辑卷做快照。逻辑卷快照和需要做快照的逻辑卷必须在同一个卷组里面

现在在我们的系统中有个逻辑卷/dev/vg00/lv00，我们用lvdisplay来查询一下这个逻辑卷

可以看到，这个逻辑卷/dev/vg00/lv00的大小是309M。我们将这个逻辑卷/dev/vg00/lv00挂载到/data下面。复制一些数据到/data里面去。方便等下做试验

现在我们就为逻辑卷/dev/vg00/lv00来做快照

执行lvscan查看创建好的逻辑卷

可以看到/dev/vg00/lv00是原始逻辑卷，而/dev/vg00/lvsp00是快照

执行lvdisplay或lvs命令查看逻辑信息

可以看到逻辑卷快照创建成功了，

注意：这个快照卷建好之后，是不需要格式化也不需要进行挂载的。格式化或挂载都会出现的错误提示的。

模拟将原逻辑卷中的数据删除

如何恢复原逻辑卷的数据？有两方式可以恢复删除的数据

方式一是先将原逻辑卷卸除挂载#umount /dev/vg00/lv00

然后挂载逻辑卷快照即可 #mount /dev/vg00/lvsp00 /data，就可以正常访问数据了

方式二可以通过 lvconvert把快照的内容重新写回原有的lvm

先将原逻辑卷卸除挂载#umount /dev/vg00/lv00

执行lvconvert将快照的数据合并到原逻辑卷 #lvconvert --merge /dev/vg00/lvsp00

最后挂载原逻辑卷，查看数据是否恢复成功

注：当我们把原逻辑卷里面的数据给删除了，逻辑卷快照里面的数据还在，所以可以用快照恢复数据。而当我们在逻辑卷里面添加数据，快照是不会发生改变的，是没有这个文件的。因为快照只会备份当时逻辑卷的一瞬间。

使用ssm（系统存储管理器）进行逻辑管理

逻辑卷管理器（LVM）是一种极其灵活的磁盘管理工具，它让用户可以从多个物理硬驱创建逻辑磁盘卷，并调整大小，根本没有停机时间。最新版本的CentOS/RHEL 7现在随带系统存储管理器（又叫ssm），这是一种统一的命令行界面，由红帽公司开发，用于管理各种各样的存储设备。目前，有三种可供ssm使用的卷管理后端：LVM、Btrfs和Crypt

准备ssm，在CentOS/RHEL7上，你需要首先安装系统存储管理器。可以通过rpm或yum工具安装

首先我们来检查关于可用硬盘和LVM卷的信息。下面这个命令将显示关于现有磁盘存储设备、存储池、LVM卷和存储快照的信息。

#ssm  list

在这个例子中，有两个物理设备（“/dev/sda”和“/dev/sdb”）、二个存储池（“rhel和vg00”）,以及存储池rhel中创建的两个LVM卷（“dev/rhel/root”和“/dev/rhel/swap”），存储池vg00中创建的一个LVM卷（/dev/vg00/lv00）。

下面来讲解如何通过ssm创建、管理逻辑卷和逻辑卷快照

至少新添加一块磁盘，执行ssm命令显示现有磁盘存储设备、存储池、LVM卷的信息

可以看到有两块空闲磁盘（sdc、sdd）

创建新的LVM池/卷

在这个示例中，不妨看一下如何在物理磁盘驱动器上创建新的存储池和新的LVM卷。如果使用传统的LVM工具，整个过程相当复杂，需要准备分区，需要创建物理卷、卷组、逻辑卷，最后还要建立文件系统。不过，若使用ssm，整个过程一蹴而就！

下面这个命令的作用是，创建一个名为mypool的存储池，创建存储池中名为lv01的500MB大小的LVM卷，使用XFS文件系统格式化卷，并将它挂载到/mnt/test下。

验证ssm创建的结果

或执行ssm list

将物理磁盘(sdd)添加到LVM池

新设备添加到存储池后，存储池会自动扩大，扩大多少取决于设备的大小。检查名为centos的存储池的大小执行ssm list查看

接下来，我们来扩大现有的LVM卷

扩大LVM卷，不妨将/dev/mypool/lv01卷的大小增加300MB。

如果你在存储池中有额外空间，可以扩大存储池中现有的磁盘卷。为此，使用ssm命令的resize选项

执行ssm list查看扩大后逻辑卷

可以看到逻辑卷扩大到800M，即在原来的基础上增加了300M，但文件系统大小（Fs size）还没有改变，仍然是原来的大小。

为了让文件系统识别增加后的卷大小，你需要“扩大”现有的文件系统本身。有不同的工具可用来扩大现有的文件系统，这取决于你使用哪种文件系统。比如说，有面向EXT2/EXT3/EXT4的resize2fs、面向XFS的xfs_growfs以及面向Btrfs的btrfs，不一而足。

在这个例子中，我们使用CentOS 7，XFS文件系统在默认情况下创建。因而，我们使用xfs_growfs来扩大现有的XFS文件系统。

扩大XFS文件系统后，查看结果

或执行#df -hT

可以看到LVM扩展成功

逻辑卷快照

对现有的LVM卷（比如/dev/mypool/lv01）生成快照

一旦快照生成完毕，它将作为一个特殊的快照卷存储起来，存储了原始卷中生成快照时的所有数据

每次原LVM中的数据更改，都可以手动执行ssm  snapshot生成快照

当原LVM数据损坏就可以用快照恢复了

方式一是先将原逻辑卷卸除挂载 #umount /dev/vg00/lv00

然后挂载逻辑卷快照即可 #mount /dev/vg00/lvsp00 /data，就可以正常访问数据了

方式二可以通过 lvconvert把快照的内容重新写回原有的lvm

先将原逻辑卷卸除挂载#umount /dev/vg00/lv00

执行lvconvert将快照的数据合并到原逻辑卷 #lvconvert --merge /dev/vg00/lvsp00

最后挂载原逻辑卷，查看数据是否恢复成功

有磁ssm的具体用法可以参考ssm的帮助手删页

如：删除LVM卷#ssm  remove <volume>

删除存储池#ssm  remove <pool-name>

十、ISCSI网络存储服务

iscsi实现网络存储，提供存储端叫 target，使用存储端叫 initiator。target 上可以提供存储空间，initiator负责连接ISCSI设备，在ISCSI设备中创建文件系统，以及存取数据，在 initiator 上看上去是多了一块硬盘。

服务器端配置target，准备做为LUN发布的ISCSI的存储设备（可以是一整块磁盘、一个分区、逻辑卷或RAID阵列）。

本人事先准备好两个逻辑卷作为ISCSI的存储设备。

首先安装target

启动服务

设置防火墙

执行targetcli工具

注：输入help可以查看targetcli的帮助

基本思路：

先把准备共享的块做出来，创建一个target，在target上创建lun，一个lun连接一个块

1、创建块即给要发布的逻辑卷起个名字

注：给/dev/vg00/lv00逻辑卷起个名字叫server0.disk1;给/dev/mypool/lv01逻辑卷起个名字叫server0.disk2

查看块如下图所示：

2、创建 iqn 名字即创建ISCSI对象

查看ISCSI对象如下图所示：

3、设置ACL即将ISCSI对象与客户端IP或主机名绑定

注意：iqn.2015-06.com.benet:client1是 initiator 的名字，需要在客户端中设置的。

4、创建LUN并绑定块

一个ISCSI对象可以创建多个LUN（LUN0、LUN1……）。

执行ls查看

启动监听程序

注：172.24.3.5是ISCSI服务端网卡IP

可以查看/etc/target/saveconfig.json配置文件，该配置文件保存着ISCSI的配置。

在initiator端的配置：

1、安装软件

#yum install -y iscsi-initiator-utils

2、给 initiator 起个名字

#vim /etc/iscsi/initiatorname.iscsi

内容如下：

3、启动服务

#systemctl enable iscsi; systemctl start iscsi

4、发现存储

#iscsiadm -m discovery -t st -p 172.24.3.5

5、登录存储

#iscsiadm -m node -T iqn.2015-06.com.benet:disk1 -p 172.24.3.5 -l

注：-l表示连接ISCSI目标；-u表示断开和ISCSI目标的连接

验证客户端ISCSI连接

剩下来的操作就和管理本地磁盘一样了。