Linux系统sersync数据实时同步-低调大师

Linux系统sersync数据实时同步

2021-03-24 433

Linux系统sersync数据实时同步

前面介绍了以守护进程的方式传输或同步数据rsync软件，linux系统数据同步软件很多，今天来介绍下sersync数据同步软件

一：sersync介绍

sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的，inotify是用于监听sersync所在服务器上的文件变化，结合rsync软件来进行数据同步，将数据实时同步给客户端服务器

二：sersync工作过程

在同步主服务器上开启sersync，负责监听文件系统的变化，然后调用rsync命令把更新的文件同步到目标服务器上，主服务器上安装sersync软件，目标服务器上安装rsync服务

三：整体环境拓扑图

四：客户端安装配置rsync服务

[root@Client ~]# cat /etc/rsyncd.conf

cat: /etc/rsyncd.conf: No such file or directory

如果有此文件，配置前要进行备份，再进行相关配置

[root@Client etc]# vi /etc/rsyncd.conf

##rsync config start

##created by root 2016-08-08 15:00

##rsync.conf config start

uid = rsync

gid = rsync

use chroot = no

max connetctions = 200

timeout = 100

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup]

path = /backup/

ignore errors

read only = false

list = false

hosts allow = 192.168.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

##rsync config end

"rsyncd.conf" [New] 21L, 458C written

添加用户

[root@Client ~]# useradd rsync -s /sbin/nologin -M

改变目录权限

[root@Client ~]# chown -R rsync.rsync /backup

配置密码文件

[root@Client ~]# echo "rsync_backup:rsync.conf">>/etc/rsync.password

[root@Client ~]# cat /etc/rsync.password

rsync_backup:rsync.conf

改变密码文件权限

[root@Client ~]# chmod 600 /etc/rsync.password

[root@Client ~]# ls -ld /etc/rsync.password

-rw-------. 1 root root 24 Sep 9 13:06 /etc/rsync.password

格式化文件

[root@Client ~]# dos2unix /etc/rsyncd.conf

dos2unix: converting file /etc/rsyncd.conf to UNIX format ...

开启服务后台运行

[root@Client ~]# rsync --daemon

[root@Client ~]# netstat -lntup|grep rsync

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2002/rsync

tcp 0 0 :::873 :::* LISTEN 2002/rsync

五：主服务器上配置密码文件

[root@Master ~]# echo "rsync.conf">>/etc/rsync.password

[root@Master ~]# cat /etc/rsync.password

rsync.conf

[root@Master ~]# chmod 600 /etc/rsync.password

[root@Master ~]# ls -ld /etc/rsync.password

-rw-------. 1 root root 11 Sep 8 06:25 /etc/rsync.password

六：测试手工同步

[root@Master /]# rsync -avzP /etc/hosts rsync_backup@192.168.1.3::rsync --password-file=/etc/rsync.password

sending incremental file list

hosts

158 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)

sent 120 bytes received 27 bytes 26.73 bytes/sec

total size is 158 speedup is 1.07

[root@Master /]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

[root@Client ~]# cat /backup/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

经过对比两边数据一致，表明同步成功，手工同步成功之后，然后再进行后面的配置

七：安装sersync服务

首先下载好安装软件

sersync_64bit_binary_stable_final.tar.gz

[root@Master tools]# tar -zxvf sersync_64bit_binary_stable_final.tar.gz -C

/usr/local/

GNU-Linux-x86/

GNU-Linux-x86/sersync2

GNU-Linux-x86/confxml.xml

[root@Master tools]# cd /usr/local/

[root@Master local]# ls

bin games include lib64 sbin src

etc GNU-Linux-x86 lib libexec share

GNU-Linux-x86就是sersync安装软件，为了方便将它改名

[root@Master local]# mv GNU-Linux-x86 sersync

为了后续方便管理，创建几个目录用于存放各类文件

[root@Master sersync]# mkdir -p conf bin logs

[root@Master sersync]# mv confxml.xml conf

[root@Master sersync]# ls

bin conf logs sersync2

[root@Master sersync]# cd conf

[root@Master conf]# ls

confxml.xml

在配置配置文件之前备份

[root@Master conf]# cp confxml.xml confxml.xml.$(date +%F)

[root@Master conf]# ls

confxml.xml confxml.xml.2016-09-08

修改配置文件内容（confxml.xml）

1、修改24-28行

注释内容

注释内容

</localpath>

修改后的内容为

<localpath watch="/opt/backup"> 本地数据的路径

<remote ip="192.168.1.3" name="rsync"/>远端IP与模块名称

</localpath>

<!#################################### -->注释内容

2、修改31-34行内容——认证

修改后的内容为

<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>

3、修改36-37行

<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default

every 60mins execute once-->

修改成我们刚刚创建好的logs目录

<failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecut

e="60"/>

修改完成后最终的配置文件如下

[root@Master conf]# cat /usr/local/sersync/conf/confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

</filter>

</inotify>

</localpath>

<!#################################### -->

<rsync>

</rsync>

</crontabfilter>

</crontab>

</sersync>

</filter>

</plugin>

</localpath>

</plugin>

</localpath>

</plugin>

</head>

八：开启sersync守护进程

首先配置全局环境变量，使得后同可以直接调用sersync命令

[root@Master conf]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile

[root@Master conf]# tail -1 /etc/profile

export PATH=$PATH:/usr/local/sersync/bin

[root@Master conf]# source /etc/profile

[root@Master conf]# which sersync

/usr/local/sersync/bin/sersync

启动sersync服务

serync -r -d -o /usr/local/sersync/conf/confxml.xml

-r初始化数据

-d后台启动

-o指定路径

如果需要将命令开启动，只需将命令去掉参数-r定入/etc/rc.local

启动后结果如下

[root@Master backup]# sersync -r -d -o /usr/local/sersync/conf/confxml.xml

set the system param

execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r rsync all the local files to the remote servers before the sersync work

option: -d run as a daemon

option: -o config xml name: /usr/local/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost host port: 8008

daemon start,sersync run behind the console

use rsync password-file :

user is rsync_backup

passwordfile is /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ,use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /opt/backup && rsync -aruz -R --delete ./ --timeout=100 rsync_backup@192.168.1.3::rsync --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /opt/backup

九：测试数据同步

[root@Master sersync]# cd /opt/backup/

[root@Master backup]# ls

[root@Master backup]# ls -ll

total 0

[root@Master backup]# touch 123

[root@Master backup]# touch 1234

[root@Master backup]# touch 1235

[root@Master backup]# touch 12333

[root@Master backup]# ls -ll

total 0

-rw-r--r--. 1 root root 0 Sep 8 09:26 123

-rw-r--r--. 1 root root 0 Sep 8 09:26 12333

-rw-r--r--. 1 root root 0 Sep 8 09:26 1234

-rw-r--r--. 1 root root 0 Sep 8 09:26 1235

目标服务器查看同步情况

[root@Client backup]# ls -ll

total 0

-rw-r--r--. 1 rsync rsync 0 Sep 8 04:26 123

-rw-r--r--. 1 rsync rsync 0 Sep 8 04:26 12333

-rw-r--r--. 1 rsync rsync 0 Sep 8 04:26 1234

-rw-r--r--. 1 rsync rsync 0 Sep 8 04:26 1235

测试结果表明数据同步正常，能够实时同步

微信关注我们

原文链接：https://blog.51cto.com/15127557/2670437

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

LNMP架构应用实战——Nginx配置虚拟主机

LNMP架构应用实战——Nginx配置虚拟主机前面介绍了nginx服务的安装与配置文件，今天介绍下它的另一种实用配置——“虚拟主机”，每个虚拟主机可以是一个独立的网站，可以具有独立的域名，同一台服务器上的不同的虚拟主机之间是独立的，用户访问不同虚拟主机如同访问不同的服务器一样，因此它不需要为一个单独的WEB站点提供单独一个nginx服务器和一个单独的nginx进程 1、nginx虚拟主机简单介绍同apache服务一样，它也有三种不同的虚拟主机，基于域名的虚拟主机、基于IP的虚拟主机与基于端口的虚拟主机，至于其中的区别，请参考前面的 apache服务器的虚拟主机章节的相关介绍 2、nginx虚拟主机配置环境系统环境 [root@centos6 scripts]# cat /etc/redhat-release CentOS release 6.5 (Final) [root@centos6 scripts]# uname -r 2.6.32-431.el6.x86_64 nginx服务的版本 [root@centos6 scripts]# /application/nginx...

2021-03-24

431

编者按：近日，有位 Apache APISIX 用户在 comment 中用中文写下这样一句话，“能不能语言自信点，母语不说飙英文，就能国际化成功吗”。一石激起千层浪，很快就引发了关于“开源社区应该使用什么语言”的大讨论。开源布道师李建盛围绕这个问题写了篇文章，从多角度展开讨论。OSCHINA 编辑部转载之后，许多用户积极参与讨论。2021 年度开源社理事长庄表伟也就此发表了不同看法，详见下方正文。 OSCHINA 社区期待更多不同声音，现也向所有用户发出讨论参与邀请，如果你对“开源社区应该使用什么语言”的话题感兴趣，欢迎来撩~ 两种参与方式：向编辑部（xuyijun@oschina.cn）投稿，发表意见并阐述论据。审核通过后，我们将推荐文章、作者，并送出精美小礼品一份。带话题 #开源社区应该用中文吗# 发表动弹，我们将挑选三条动弹，向用户送出社区小福利，敬请期待。参与规范：就话题本身展开讨论，有理有据，尽可能详细阐述论据。正文《开源社区应该选择什么语言？》作者：庄表伟前传在开源的世界里，应该讲开发者都能懂的语言！，这是李建盛的一篇博客，发在OSChina上，不过被...

2021-03-24

545

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。