Linux系统rsync实战操作-低调大师

Linux系统rsync实战操作

2021-03-24 649

Linux系统rsync实战操作

前面介绍了一些关于rsync的功能与一些具体的命令格式、参数的使用意义等，今天我们来聊一聊整个实际生产过程中的实战操作过程

今天介绍的是第三种模式——以守护进程的模式传输数据

一：整体环境

备份服务器端（BK-S）

[root@BS-S~]# cat /etc/redhat-release

CentOS release 6.5 (Final)

[root@BS-S ~]# uname -r

2.6.32-431.el6.x86_64

备份数据的客户端(BK-C)

[root@BS-C ~]# cat /etc/redhat-release

CentOS release 6.5 (Final)

[root@BS-C ~]# uname -r

2.6.32-431.el6.x86_64

二：配置过程

以下配置为备份数据服务器端

1、检查是否安装软件

[root@BK-S ~]# rpm -qa |grep "rsync"

rsync-3.0.6-9.el6_4.1.x86_64

2、配置rsync的配置文件/etc/rsync.conf

[root@BK-S ~]#cat /etc/rsyncd.conf

cat:/etc/rsyncd.conf: No such file or directory

显示系统无此文件，因此我们直接创建文件

[root@BK-S ~]# vi /etc/rsyncd.conf

##rsync config start

##created by root 2016-08-08 15:00

##rsyncd.conf config start 以上为注释部分

uid = rsync

gid = rsync

use chroot = no

max connetctions = 200 最大连接数（并发）

timeout = 100 超时时间默认S单位

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup] 模块名称可自定义任意名称

path = /backup/ 备份数据的路径

ignore errors 忽略错误

read only = false

list = false

hosts allow = 192.168.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup 虚拟的用户用于连接认证

secrets file = /etc/rsync.password 认证的密码配置文件路径

##rsync config end

整个配置过程中注意中间的空格与书写规范

检查配置文件

[root@BK-S ~]# cat /etc/rsyncd.conf

##rsync config start

##created by root 2016-08-08 15:00

##rsync.conf config start

uid = rsync

gid = rsync

use chroot = no

max connetctions = 200

timeout = 100

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup]

path = /backup/

ignore errors

read only = false

list = false

hosts allow = 192.168.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

##rsync config end

3、格式化配置文件

[root@BK-S ~]#dos2unix /etc/rsync.conf 没有安装

-bash: dos2unix:command not found

[root@BK-S ~]#yum install dos2unix -y YUM进行安装

Loaded plugins:fastestmirror, refresh-packagekit, security

Loading mirrorspeeds from cached hostfile

* base: mirrors.zju.edu.cn

* extras: mirrors.zju.edu.cn

* updates: mirrors.zju.edu.cn

base | 3.7 kB 00:00

extras |3.4 kB 00:00

updates |3.4 kB 00:00

updates/primary_db | 2.0 MB 00:01

Setting up InstallProcess

ResolvingDependencies

--> Runningtransaction check

---> Packagedos2unix.x86_64 0:3.1-37.el6 will be installed

--> FinishedDependency Resolution

DependenciesResolved

============================================

Package Arch Version Repository Size

======================================Installing:

dos2unix x86_64 3.1-37.el6 base 16 k

TransactionSummary

============================================

Install 1 Package(s)

Total downloadsize: 16 k

Installed size: 18k

DownloadingPackages:

dos2unix-3.1-37.el6.x86_64.rpm | 16kB 00:00

Running rpm_check_debug

RunningTransaction Test

Transaction TestSucceeded

RunningTransaction

Installing : dos2unix-3.1-37.el6.x86_64 1/1

Verifying : dos2unix-3.1-37.el6.x86_64 1/1

Installed:

dos2unix.x86_64 0:3.1-37.el6

Complete!

[root@BK-C]#dos2unix /etc/rsync.conf

dos2unix:converting file /etc/rsync.conf to UNIX format ...

4、添加用户

[root@BK-S ~]#useradd rsync -s /sbin/nologin -M

[root@BK-S /]#mkdir backup

[root@BK-S /]#chown -R rsync.rsync /backup

[root@BK-S /]# ls -ll

drwxr-xr-x. 2 rsync rsync 4096 Aug 27 14:30 backup

dr-xr-xr-x. 2 root root 4096 Aug 15 19:15 bin

dr-xr-xr-x. 5 root root 1024 Aug 7 18:04 boot

drwxr-xr-x. 3 root root 4096 Aug 21 10:07 data

drwxr-xr-x. 19 root root 3860 Sep 2 05:05 dev

5、配置密码文件

[root@BK-S /]# echo "rsync_backup:rsync.conf">>/etc/rsync.password

[root@BK-S /]# cat /etc/rsync.password

rsync_backup:rsync.conf 认证用户：认证密码

因密码文件为明文，所以需要改变默认权限

[root@BK-S /]# chmod 600 /etc/rsync.password

[root@BK-S /]# ls -ld /etc/rsync.password

-rw-------. 1 root root 24 Sep 2 05:43 /etc/rsync.password

6、启动服务

[root@BK-S /]# rsync --daemon 启动服务后台运行

[root@BK-S /]# netstat -lntup |grep rsync 查看服务使用端口

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2013/rsync

tcp 0 0 :::873 :::* LISTEN 2013/rsync

[root@BK-S /]# ps -ef |grep rsync

root 2013 1 0 05:45 ? 00:00:00 rsync --daemon

root 2018 1930 0 05:46 pts/0 00:00:00 grep rsync

至此备份数据的服务端配置结束

7、以下为客户配置过程

[root@BK-C ~]# echo "rsync.conf">/etc/rsync.password

[root@BK-C ~]# cat /etc/rsync.password

rsync.conf

[root@BK-C ~]# chmod 600 /etc/rsync.password

[root@BK-C ~]# ls -ld /etc/rsync.password

-rw-------. 1 root root 11 Sep 3 13:57 /etc/rsync.password

客户端配置结束

三：测试数据备份

[root@BK-C ~]# rsync -avzP /etc/hosts rsync_backup@192.168.1.2::backup --password-file=/etc/rsync.password

rsync: failed to connect to 192.168.1.2: No route to host (113)

rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]

报错提示没有路由，表明服务端防火墙没有关闭

[root@BK-S backup]# /etc/init.d/iptables stop

iptables: Setting chains to policy ACCEPT: filter [ OK ]

iptables: Flushing firewall rules: [ OK ]

iptables: Unloading modules: [ OK ]

服务端关闭防火墙

[root@BK-C~]# rsync -avzP /etc/hosts rsync_backup@192.168.1.2::backup --password-file=/etc/rsync.password

sending incremental file list

hosts

322 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)

sent 141 bytes received 27 bytes 336.00 bytes/sec

total size is 322 speedup is 1.92

显示数据备份完成

备份服务器上查看是否备份成功

[root@BK-C~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

###########www.baidu.com################

[root@BK-S backup]# ls -ll

total 4

-rw-r--r--. 1 rsync rsync 322 Aug 30 03:29 hosts

[root@BK-S backup]# cat hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

###########www.baidu.com################

两台服务器上hosts文件内容相同，表明备份成功

[root@BK-C ~]# cd /tmp

[root@BK-C tmp]# ls

[root@BK-C tmp]# ls -ll

total 0

[root@BK-C tmp]# touch 123.txt

[root@BK-C tmp]# touch 321.txt

[root@BK-C tmp]# rsync -avzP /tmp/ rsync_backup@192.168.1.2::backup --

password-file=/etc/rsync.password

sending incremental file list

./

123.txt

0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=2/4)

321.txt

0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=1/4)

.ICE-unix/

sent 162 bytes received 53 bytes 430.00 bytes/sec

total size is 0 speedup is 0.00

服务端查看数据同步情况

[root@BK-S backup]# ls -ll

total 4

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 123.txt

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 321.txt

-rw-r--r--. 1 rsync rsync 322 Aug 30 03:29 hosts

测试--delete参数

[root@BK-S backup]# mkdir text

[root@BK-S backup]# mkdir text1

[root@BK-S backup]# mkdir text2

[root@BK-S backup]# mkdir text3

[root@BK-S backup]# touch 4565.bak

[root@BK-S backup]# touch 4565.txt

[root@BK-S backup]# ls -ll

total 20

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 123.txt

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 321.txt

-rw-r--r--. 1 root root 0 Sep 7 13:48 4565.bak

-rw-r--r--. 1 root root 0 Sep 7 13:48 4565.txt

-rw-r--r--. 1 rsync rsync 322 Aug 30 03:29 hosts

drwxr-xr-x. 2 root root 4096 Sep 7 13:48 text

drwxr-xr-x. 2 root root 4096 Sep 7 13:48 text1

drwxr-xr-x. 2 root root 4096 Sep 7 13:48 text2

drwxr-xr-x. 2 root root 4096 Sep 7 13:48 text3

[root@BK-C tmp]# rsync -avzP --delete /tmp/ rsync_backup@192.168.1.2::

backup --password-file=/etc/rsync.password

sending incremental file list

./

deleting text3/

deleting text2/

deleting text1/

deleting text/

deleting hosts

deleting 4565.txt

deleting 4565.bak

sent 91 bytes received 12 bytes 206.00 bytes/sec

total size is 0 speedup is 0.00

服务器端查看结果

[root@BK-S backup]# ls -ll

total 0

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 123.txt

-rw-r--r--. 1 rsync rsync 0 Sep 9 2016 321.txt

最终结果显示delete参数的作用就是：客户端有什么，远端服务器就有什么，客户备份目录下没有的，远端服务器目录下其它文件或目录就会被删除，此参数相当危险，实际生产环境中要小心使用

微信关注我们

原文链接：https://blog.51cto.com/15127557/2670456

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MYSQL主从复制搭建及排错

1、MYSQL主从复制简述：随着访问量的不断增加，单台MySQL数据库服务器压力不断增加，需要对MYSQL进行优化和架构改造，MYQSL优化如果不能明显改善压力情况，可以使用高可用、主从复制、读写分离来、拆分库、拆分表来进行优化。MYSQL主从复制集群在中小企业、大型企业中被广泛使用，MYSQL主从复制的目的是实现数据库冗余备份，将Master数据库数据定时同步至Slave库中，一旦Master数据库宕机，可以将WEB应用数据库配置快速切换至Slave数据库，确保WEB应用较高的可用率。 2、什么是MYSQL主从复制 mysql主从复制是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。在最常用的mysql数据库中，支持单项、异步赋值。在赋值过程中，一个服务器充当主服务器，而另外一台服务器充当从服务器；此时主服务器会将更新信息写入到一个特定的二进制文件中。并会维护文件的一个索引用来跟踪日志循环。这个日志可以记录并发送到从服务器的更新中去。当一台从服务器连接到主服务器时，从服务器会通知主服务器从服务器的日志文件中读取最后一次成功更新的位置。然后...

2021-03-24

620

Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。本文首发于公众号【五分钟学大数据】，本公号专注于大数据技术，分享高质量大数据原创技术文章。一、Shuffle的核心概念 1. ShuffleMapStage与ResultStage ShuffleMapStage与ResultStage 在划分stage时，最后一个stage称为FinalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。 ShuffleMapStage的结束伴随着shuffle文件的写磁盘。 ResultStage基本上对应代码中的action算子，即将一个函数应用在RDD的各个partition的数据集上，意味着一个job的运行结束。 2. Shuffle中的任务个数我们知道，Spark Shuffle分为map阶段和reduce阶段，或者称...

2021-03-24

586

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。