首页 文章 精选 留言 我的

精选列表

搜索[自动出价],共10000篇文章
优秀的个人博客,低调大师

APP远程调试及网络自动化测试

一:优测 腾讯旗下的测试服务 http://utest.qq.com/ 二:云测 http://www.testin.cn/ 三:testbird 1、进入这个网站,注册并且登录 https://dt.testbird.com/login/ 2、选择 云手机 3、选择需要租用的手机 4、点击 远程调试 5、在本地电脑的dos 命令窗口,输入两条 adb 命令提示符,没有出错的话,会提醒链接成功。 6、在Android studio 里面就可以运行APP到 云手机里面。还可以在本地打断点 debug调试 。

优秀的个人博客,低调大师

Linux轻量级自动运维工具-Ansible浅析

Ansible是什么? ansible架构图 ansible特性 模块化:调用特定的模块,完成特定的任务; 基于Python语言研发,由Paramiko, PyYAML和Jinja2三个核心库实现; 部署简单:agentless; 支持自定义模块,使用任意编程语言; 强大的playbook机制; 幂等性; 安装及程序环境: 程序: ansible ansible-playbook ansible-doc 配置文件: /etc/ansible/ansible.cfg 主机清单: /etc/ansible/hosts 插件目录: /usr/share/ansible_plugins/ 安装ansible 安装依赖包 ansible命令的使用: Usage: ansible <host-pattern> [options] 常用选项: -m MOD_NAME -a MOD_ARGS 配置Host Inventory: /etc/ansible/hosts [group_id] HOST_PATTERN1 HOST_PATTERN2 示例:首先对此文件进行备份操作,以防后面需要用到默认配置文件 进入到/etc/ansible/hosts文件,此处绿色光标以下的内容是没有用的,都是示例,可以删除掉,然后添加我们下面实验操作用到的主机。 添加一组websrvs服务器,以用于下面的测试 测试主机连通性 这里报错是因为实验用的主机交换其他两台主机的公钥/私钥的原因导致的 实验SSH免密码登陆设置 生成私钥和公钥ssh-keygen -t rsa -P '' 复制公钥文件问authorized_keys 把公钥传送到其他主机 在68的主机上面可以看见公钥已经传送过来了,并且确认文件的权限是否正确 重复以上操作把公钥发送给69的主机 然后重新执行ansible的ping模块命令查看该两台主机的连通性 可以发现此时已经成功,那么下面就开始介绍ansilbe的其他模块 最后记得利用ansible同步一下所有主机的时间,以免某主机的时间有错误,后面看日志起来会造成混乱 ansible模块: 获取模块列表:ansible-doc -l 获取指定模块的使用帮助:ansible-doc -s MOD_NAME 常用模块: ping模块:探测目标主机是否存活; 示例:测试所有的主机的连通性 command模块:在远程主机执行命令; 示例1:让所有主机同步时间 此处没有给出指定的-m command命令,是因为ansible的模块默认就是command 示例2:让每一台主机都执行uname -r命令 示例3:在主机上面都创建一个用户 查看两台主机是否已经创建该用户 查看用户信息: 帮这两个用户改密码,此处需要注意的是,虽然用下面的命令看似执行成功,但是当我们验证的时候,就会发现密码错误了,这是因为ansible的command模块并不支持管道等输出,所以下面介绍另外一个ansible的模块shell shell模块:在远程主机上调用shell解释器运行命令,支持shell的各种功能,例如管道等 注意:command和shell模块的核心参数直接为命令本身;而其它模块的参数通常为“key=value”格式; 示例:批量修改其他主机的特定用户的密码 此时可以发现已经可以登陆成功 copy模块:复制文件到远程主机 用法: (1) 复制文件 -a "src= dest= " (2) 给定内容生成文件 -a "content= dest= " 其它参数:mode, owner, group, ... 示例:复制文件到其他主机 此处创建一个测试文件 复制文件到其他主机 下面红色的报错信息是,如果要传送文件,该主机的指定目录需要存在,如果不存在,就是提示错误 创建对应的目录 重新传送文件,已经没有错误提示,但是此处也可以看见,如果文件已经存在,则原文件会被覆盖掉,并且此处也没有任何提示覆盖文件的信息,所以操作的时候就需要注意了,以免覆盖掉重要的文件 验证文件 file模块:设置文件的属性 用法: (1) 创建目录: -a "path= state=directory" (2) 创建链接文件: -a "path= src= state=link" (3) 删除文件: -a "path= state=absent“ 示例:修改文件的权限和属主 验证文件 示例:创建文件的软连接 验证文件 设置文件的状态为absent(即删除文件) 验证 fetch模块:从远程主机拿文件 示例:从10.1.156.69主机拿一个文件 当抓去一堆文件的时候,也会创建对应的ip地址的目录,以区分文件 cron模块:管理计划任务条目 用法: -a "" minute= hour= day= month= weekday= job= name= user= state={present|absent} 示例:创建一个同步时间的计划任务,每5分钟同步一下服务器的时间 验证任务 示例:删除计划任务 验证 hostname模块:管理主机名 用法: name= 示例:修改主机名 yum模块:使用yum命令完成程序包管理 用法: -a "" (1) name= state={present|latest} (2) name= state=absent 示例:安装指定包 此实验,首先,确定主机的yum源是可用的,否则实验会失败 安装samba包 验证 删除samba安装包 已经没有安装的字眼了 service模块:服务管理 用法: -a "" name= state= started stopped restarted enabled= runlevel= 示例:开启主机的httpd服务 首先我们确认httpd服务是关闭的 开启httpd服务,并且设置为开机启动 验证,80端口已经开启 group模块:增加或删除组 用法: -a "" name= state= system= gid= 示例:添加一个组 验证 删除组 验证 user模块:用户管理 使用格式: name= : 创建的用户名 state= : present新增,absent删除 force= : 删除用户的时候删除家目录 system= : 创建系统用户 uid= : 指定UID shell= : 指定shell home= : 指定用户家目录 示例:增加一个系统用户 验证 删除用户 setup模块:收集主机里面的各种信息 示例:收集所有主机的信息 YAML:一种数据序列化工具的语言格式 YAML is a data serialization format designed for human readability and interaction with scripting languages. 数据结构: key:value - item1 - item2 - item3 例如{name:jerry, age:21} PlayBook 核心元素: Tasks:任务,由模块定义的操作的列表; Variables:变量 Templates:模板,即使用了模板语法的文本文件; Handlers:由特定条件触发的Tasks; Roles:角色; playbook的基础组件: Hosts:运行指定任务的目标主机; remote_user:在远程主机以哪个用户身份执行; sudo_user:非管理员需要拥有sudo权限; tasks:任务列表 模块,模块参数: 格式: (1) action: module arguments (2) module: arguments 运行playbook,使用ansible-playbook命令 (1) 检测语法 ansible-playbook --syntax-check /path/to/playbook.yaml (2) 测试运行 ansible-playbook -C /path/to/playbook.yaml --list-hosts -list-tasks --list-tags (3) 运行 ansible-playbook /path/to/playbook.yaml -t TAGS, --tags=TAGS --skip-tags=SKIP_TAGS --start-at-task=START_AT 示例1:定义一个playbook任务来新增用户和组 定义一个yaml的模板 查查语法有没有错误,没有提示即表示语法应该没有问题。 测试运行看看,-C表示仅测试跑一边,但是不会实际操作 也可以单独测试某些特定的选项 查看仅影响的主机 查看运行哪些任务 查看哪个任务打标了,这里并没有任何任务打标记,后面再演示 以上没有错误,开始正式运行该任务 验证 示例2:定义一个playbook任务来修改文件端口 此步骤里面有安装httpd的安装包,其实此处有点多余,因为测试的两台主机均已经安装该服务,此处添加上去是为了演示效果,因为当生产环境中,假如存在一台服务器没有该安装包,那么次处就能帮我们安装上去,不然的话,漏了这一步,到后面查原因也挺麻烦的 检查语法问题 先从一台主机上面把httpd.conf文件拷问来编辑 修改httpd.conf文件 比如修改端口为8080,其他都为默认配置 首先备份好各自主机里面的配置文件,以防后面出错 检查备份是否成功 测试运行web.yml,看看有没有问题,没有问题的话就正常运行 执行改文件 验证服务器端口打开没有,可以看见8080端口已经打开,实验成功。 Handlers的使用:由特定条件触发的Tasks; 格式: tasks: - name: TASK_NAME module: arguments notify: HANDLER_NAME handlers: - name: HANDLER_NAME module: arguments 示例:参照上面的例子继续修改apache的端口 修改端口号为8090 修改原来的web.yml脚本实现操作 检测语法 测试运行,可以看出,当复制文件过去的时候,会触发到restart httpd service的handlers任务,所以任务就重启了,而不是启动 正式运行 验证结果,8090端口已经打开,实验成功 tags:给指定的任务定义一个调用标识; 使用格式: - name: NAME module: arguments tags: TAG_ID 示例:执行特定的tags 修改文件的端口为8088 在此前的配置文件上面插入一个标签instconf 检查语法 此处可以查看到该yml脚本有一个标签,影响着websrvs组 测试运行 正式运行一下,指定以instconf的标签运行,所以此处不会显示器其他多余的信息,包括安装httpd包和启动httpd服务 验证该结果 此处也可以对同一个文件标记多个标签同时执行 测试运行,因为此处已经安装了httpd包和文件已经复制过去,所以都是绿色,此处就演示到这里,其他步骤可以参考上面的操作 Variables:变量 类型: 内建: (1) facts 自定义: (1) 命令行传递; -e VAR=VALUE (2) 在hosts Inventory中为每个主机定义专用变量值; (a) 向不同的主机传递不同的变量 ; IP/HOSTNAME variable_name=value (b) 向组内的所有主机传递相同的变量 ; [groupname:vars] variable_name=value (3) 在playbook中定义 vars: - var_name: value - var_name: value (4) Inventory还可以使用参数: 用于定义ansible远程连接目标主机时使用的属性,而非传递给playbook的变量; ansible_ssh_host ansible_ssh_port ansible_ssh_user ansible_ssh_pass ansible_sudo_pass ... (5) 在角色调用时传递 roles: - { role: ROLE_NAME, var: value, ...} 变量调用: ` var_name ` 示例1:利用命令行传递变量来安装不同的包 此处` pkgname `表示为一个变量 检查一下语法,居然报错了,什么情况?仔细看了即便发现是漏了空格 加上空格 再次检查,还是还是有报错的情况,各位不要慌,因为这只是因为还没有给变量赋值才会报的错,所以此处报错是很正常 给变量赋值再跑一遍,此时就不会报错 修改一下变量,发现也是正常的,此处68因为已经安装过vsftpd所以就不会执行,所以并不会changed 示例2:在playbook中定义变量 测试,也没有问题的 思考?假如同时利用-e的参数传递一个变量的参数的话会怎么样? 测试结果如下,是-e传递的变量参数的优先级更高,这样的话能避免传递参数的时候,因为文本里面定义的优先级更高而出错? 示例3:在hosts Inventory中为每个主机定义专用变量值 删除掉文档里面原有的变量 测试,没有问题 示例4:在hosts Inventory中为每个主机定义专用变量值的第二种方法 测试,也是可以的 Templates:模板,文本文件,内部嵌套有模板语言脚本(使用Jinja2模板语言编写) Jinja2 is a template engine written in pure Python. It provides a Django inspired non-XML syntax but supports inline expressions and an optional sandboxed environment. 语法: 字面量: 字符串:使用单引号或双引号; 数字:整数、浮点数; 列表:[item1, item2, ...] 元组:(item1, item2, ...) 字典:{key1:value1, key2:value2, ...} 布尔型:true/false 算术运算: +, -, *, /, //, %, ** 比较操作: ==, !=, >, <, >=, <= 逻辑运算:and, or, not 执行模板文件中的脚本,并生成结果数据流,需要使用template模块; template: -a " " src= dest= mode= onwer= group= 注意:此模板不能在命令行使用,而只能用于playbook; 示例:利用templates模板来设置nginx的定义cpu的数量 首先利用ansible命令获取当前系统系统的cpu数量 首先备份一下默认的文件 首先在下面的主机传送一个配置文件过来 编辑该文件,修改此处为上面利用ansible的setup模块获取的名称 重命名该文件为Jinja2格式后缀的文件 新建一个playbook文件,为了演示,建立一个ngxsrvs组,虽然看上去都一样。。。 建立playbook文档 此处为了演示效果,此处把原来的nginx包卸载掉 确认安装包卸载掉,并且服务没在线 检查playbook的文件有没语法错误 测试运行,此处报错是因为找不到nginx的服务,所以应该是没有问题的 正式运行,没有问题 查看一下端口是否已经打开 重点检查一下cpu的变量是否有改变,这里可以看到,跟我们ansible_processor_vcpus的值是一样,这样符合我们预期,此处就展示完毕 条件测试:when语句:在tasks中使用,Jinja2的语法格式; 示例:利用Ansible条件测试在CentOS_6和CentOS_7的启动服务 这边首先增加一台ip为10.1.156.70的CentOS7的主机 然后我们利用setup模块的命令 在7的上面可以找到该行 在6的上面可以找到该行 根据以上的信息,我们就可以创建一个基于条件判断的playbook文件test.yml 为了演示效果,实验前把CentOS6的nginx先卸载掉,此处70的报错只是因为ssh缺少那边没有提供公钥文件,此处就不再演示 检查playbook语法有没有问题 测试运行,没有报错,可以看出当执行service nginx start命令时候,只有CentOS6的主机执行了命令,不过开始那里提示有skipping信息是为什么?CentOS7开始也提示有skipping信息?但是后面确实是执行成功了,下面正式运行该playbook看看效果。 正式运行,似乎没有报什么错误 看看服务是否已经开启,此处可见80端口已经开发,应该是没有问题的,此处就不浏览主页做测试了 循环:迭代,需要重复执行的任务; 对迭代项的引用,固定变量名为"item”,使用with_item属性给定要迭代的元素; 元素:列表 字符串 字典 基于字符串列表给出元素示例: 示例:基于列表的方式安装多个安装包 检查语法 测试运行,没有报错(这里就以69和70两台不同的版本的CentOS来做测试) 正式运行,69的机器报错了,看了一下原因,是下载php-mbstring的时候出错了,此处原因应该是虚拟挂载CentOS6.8的cd1导致的,挂载cd2应该就解决此问题,不过部分安装包应该是在cd1里面,所以小伙伴们最好找一个安全包都全的yum仓库 重新配置好yum仓库,并且把先前安装的先卸载掉,以配置实验 此处可以看出来,由于69主机刚报错了一个,所以所有的包都没有安装,7上面倒是都已经安装过了 重新运行脚本,没有报错了 验证,发现已经安装上了,此处就不再看其他安装包的安装情况了,应该没有大问题 基于字典列表给元素示例: 示例:创建指定的用户并属于指定的组 检查语法 测试运行,没有提示有任何变化? 正式运行,可以看见创建了对应的用户和组 验证,符合我们预期 角色:roles 以特定的层级目录结构进行组织的tasks、variables、handlers、templates、files等; role_name/ files/:存储由copy或script等模块调用的文件; tasks/:此目录中至少应该有一个名为main.yml的文件,用于定义各task;其它的文件需要由main.yml进行“包含”调用; handlers/:此目录中至少应该有一个名为main.yml的文件,用于定义各handler;其它的文件需要由main.yml进行“包含”调用; vars/:此目录中至少应该有一个名为main.yml的文件,用于定义各variable;其它的文件需要由main.yml进行“包含”调用; templates/:存储由template模块调用的模板文本; meta/:此目录中至少应该有一个名为main.yml的文件,定义当前角色的特殊设定及其依赖关系;其它的文件需要由main.yml进行“包含”调用; default/:此目录中至少应该有一个名为main.yml的文件,用于设定默认变量; 在playbook中调用角色的方法: - hosts: HOSTS remote_user: USERNAME roles: - ROLE1 - ROLE2 - { role: ROLE3, VARIABLE: VALUE, ...} - { role: ROLE4, when: CONDITION } 示例:创建对应的服务目录下面的模版 首先创建对应的目录 确认一下目录是否正确 首先准备一个安装包,放到nginx/file/目录下面 新建一个nginx的task模板 大家可以发现此处的模板跟之前的不一样,比如说,开头没有了定义主机、用户、和task等,此处的task会自行查找/etc/ansible/roles/nginx/task/main.yml的任务(此处文件本身也是在task目录下面)。再比如说,该处指定的copy命令的src=FILENAME也是相对路径,其绝对路径为/etc/ansible/roles/nginx/file/FILENAME。又比如说定义了notify但是这里并没有handlers,是因为此处定义了的notify的名字会自行去查看该目录下面即/etc/ansible/roles/nginx/handlers/main.yml里面的handlers。还有template那里,大家有没发现也是用的相对路径,此处绝对路径为在/etc/ansible/roles/nginx/template/nginx.conf.j2。所以大家清楚了吗? 接着是定义/etc/ansible/roles/nginx/handlers/main.yml 此处的文件就是用来承上面的notify里面为什么没有定义的handlers的原因,因为已经定义在../handlers/main.yml里面了。 复制nginx.conf文件到templates目录下面为nginx.conf.j2 编辑里面定义的cpu数量,之前是2,所以此处我们也可以利用算数表达式来控制cpu的数量,比如此处-1,到时候看到的cpu数量应该是为1。 再复制/etc/nginx/conf.d/default.conf到nginx/templates/default.conf.j2 然后编辑此文件 编辑原来的端口号为一个变量值ngxport 此时需要重新编辑task/main.yml文件 主要添加一下内容 此时我们就可以定义变量文件了 比如说定义ngxport的变量为8888 此时所有的元素暂时都足够了,meta和default的文件夹在此处暂时用不上,然后我们在/etc/ansible/目录下面创建一个nginx.yml的文件 注意此处的roles里面的nginx要在/etc/ansible.cfg文件里面有对应的设定 编辑查看ansible.cfg文件 可以看见系统默认的roles路径也是在此处,所以我们去掉#号来启用它 修改成如下 以上都准备好了以后,检查一下nginx.yml语法,暂时并没有报错 然后测试运行,可以看见此处报错了,看了一下报错的原因,是因为找不到/tmp/nginx安装包,因为只是测试运行,并没有传送安装包到目标主机上面,所以此处报错是正常的可以不予理会。 下面正式运行该脚本,此处报错了,原因看了一下,nginx安装包是el7版本的,在centos6上面并不能安装。以及handlers出问题了。 此处修改一下tasks/main.yml,以下红色内容为修改部分,意思就是,CentOS7系统从远程复制的安装包安装,CentOS6则直接从yum仓库源安装,6和7的nginx的配置文件应该是一样的,暂时先这么操作实验看看结果,并且先把CentOS7系统的nginx安装包删除掉,以重新演示效果。notify处的语法错误,此处补上。 修改完以上的内容,重新测试运行 可以看出来此处还是有报错内容, 第一个报错内容为找不到安装包,此处是正常的,因为安装包还是传过去(上一次运行的时候传送过去的安装包我已经删掉了,所以此处需要重传) 第二个报错内容为找不到nginx服务,此处也是正常的,因为nginx安装包还没有安装 正常重新运行一下nginx.yml脚本看看,发现已经没有报错的地方了 验证结果,发现8888端口已经打开 cpu数量的设置也跟我们之前配置的是一样的,实验到此结束 示例2:根据以上内容,修改端口号 当我们写好模板以后,需要修改端口号,也是非常容易的,而且我们也可以通过在nginx.yml上面通过roles传递变量 例如像以下这样子操作 测试运行一下看看有没有错误,可以看见在复制配置文件和重启服务那里有了变化,这符合我们预期 正式运行一下看看,能正常运行 验证端口号是否修改成功,看到8080端口,表示操作没有问题 以上是运行成功了,但是细心的同学会发现,这样所有程序都跑一遍也麻烦,所以我们可以用之前了解到的标签来执行特定的操作即可,也可以直接传递相应的变量。 直接传递参数测试运行,好像没有问题 正式运行 查看端口号是否正确,此处可以看见是我们定义的8099端口,测试成功 示例:实现httpd不同主机不同的端口号 首先先把定义的端口号先屏蔽掉 编辑/etc/ansible/hosts文件 定义对应的端口号,然后测试 然后记得把nginx.yml文件里面也改回来 这里直接运行就不先做测试了,不过一般同学们还是做好测试工作比较好,本人比较懒O.O 验证端口号,也符合我们预期 示例:在同一个yml配置文件里面运行两个服务模板程序 这里以memcached为例,首先复制memcached的配置文件到对应的templates目录下来为.j2的文件 memcached服务是依靠设置内存参数来定义的,所以我们得首先用ansible来确认系统的内存变量参数值是什么,并且通过以下图可以看见两个系统参数都是一致的。 编辑memcached.j2文件 定义变量参数 改成 开始定义memcached的任务文件 定义handlers文件 把memcached定义在ngnix.yml文件一同运行 测试运行,只是安装包还没有安装,提示的错误都问题不大,是正常的 正式运行 验证服务是否开启,且是否设置好预期可用内存 可以看见11211端口已经打开 查看可用内存,原来的数值是970~980多,这里200多,符合除以4的预期效果 示例:根据不同的系统安装mysql包 首先定义一个tasks的模板 定义一个yaml调用角色脚本 设置hosts文件添加dbsrvs组 测试语法 测试运行调用角色脚本db.yml,应该没有大问题 正式运行,没有报任何错误 验证服务是否已经开启 可以看见mysql和mariadb服务均已经开启 写在最后,关于ansible的能最多控制几台主机此处是在配置文件里面定义的,默认是5台主机,如果把主机的控制的主机调大,估计也要相对应性能的主机当ansible服务器 至此,本博文已经完结,下面总结几个小点: 1、ansible的playbook.yml文件要求的格式比较严格,有时候少了几个空格,或者空格位置不妥当的时候,系统均默认此格式为错误,所以需要小心 2、有时候输入错了ansibile不能识别的错误,用- - syntax-check或者–check测试文件的时候并不会提示有任何提示,需要实际运行才能会报错。 3、有一次写playbook.yml文件的时候,检查过是没有问题,但是测试一直出问题,后来把所有重写一遍就好,也可能是哪里错了自己没看见。

优秀的个人博客,低调大师

Rsync企业实战之异地自动化备份

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来; 1、 原理篇 Rsync, 故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以 在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同步 并保持一致,并且只传送两个文件的不同部分,而不是整个数据进行传送,所以,速度非常快; 一个Rsync server能够同时备份多个客户端数据,也可以一个客户端备份多个Rsync server的数据; Rsync 支持搭配scp,ssh和daemon模式,默认端口是873,当第一次连接的时候,会对数据进行完整备份,之后的所有备份,都是进行增量备份,只备份又变化的数据; Rsync只支持单向备份,不支持双向,如果需要双向同步的,可以使用Unison;如果需要实时同步的,可以结合Rsync+inotify; Rsync服务以只读方式提供要备份的数据,避免破坏生产环境的数据; 在这里,有必要对Rsync的核心算法,进行讲解: 假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B,其中 α 对文件A拥有访问权,β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成: β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。 β 对每一个分割好的数据块执行两种校验:一种是32位的滚动弱校验,另一种是128位的 MD4 强校验。 β 将这些校验结果发给 α。 α 通过搜索文件 A 的所有大小为 S 的数据块(偏移量可以任选,不一定非要是 S 的倍数),来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。 α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。 Rsync适用于linux、solaris和bsd,在windows平台下,有cwRsync。 本文,将以Linux的Rsync和以window的cwRsync为例讲解。 2、 Rsync服务端 2.1、 安装 源码安装 下载rsync服务端程序, tar zxvf rsync-2.6.9.tar.gz cd rsync-2.6.9 ./configure --prefix=/usr/local/rsync make make install rpm安装 yum install rsync 本文以yum来安装 2.2、 服务器运行模式 模式选择 对于负载比较重的,选择独立服务启动 对于负载比较轻的,选择以xinet.d启动,选择此模式,记得要安装xinet.d (yum install xinet.d) 独立运行模式 /usr/bin/rsync --daemon --config=/etc/rsyncd.conf (本例选择此方法) 如果需要系统开机启动,可以把上面命令加入到/etc/rc.local文件中。 2.3、 服务器配置 创建配置文件和口令文件 touch /etc/rsyncd.conf 主要配置文件 touch /etc/rsync.pas 口令文件,此文件需要注意客户端和服务器端的格式,后续会讲解 关于配置文件rsyncd.conf讲解 Rsync的配置文件,分为两个部分,全局配置和模块配置, #全局设置 uid = root 指定模块以root用户来传输文件,如果匿名用户的话,这里填写nobody gid = root 指定模块以root用户组来传输文件,如果匿名传输的话,这里填写nobody use chroot = yes 设置为YES,表示在传输文件之前,定位到根目录下,即PATH指定的目录,这样做,主要是出于安全考虑 pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件 lock file = /var/run/rsync.lock 指定支持max connections的锁文件 log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件,而不是传送给syslog #模块设置 [Jindie] 模块名称,后续上传下载文件配置时,直接使用此名称名来指定 path = /sda1/JDdatabase 指定此模块的根目录,即文件上传下载都是在此目录下进行 ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误 read only = false 指定是否允许上传,false代表允许上传。 write only = false 指定是否允许下载,false代表允许下载。 list = true 指定当客户请求列出可以使用的模块,该模块是否被列出。如果false,可以创建隐藏的模块。 hosts allow = 192.168.1.65 指定哪些客户端可以访问连接此模块,可以指定单个IP,整个网段,比如此例为单个IP hosts deny = 0.0.0.0/0 指定哪些客户端不允许连接此模块,此例为0.0.0.0/0网段,代表整个网络 通常表示客户端表示方式,有如下: 单个IP:192.168.1.65 网段IP:192.168.1.0/24 可解析的主机地址:www.baidu.com 域内主机:*.wine9.com 所有主机:* 多个列表项,要用空格隔开; auth users = xy 指定认证用户名,通常由空格或者逗号分隔用户名列表,只有这些用户可以连接此模块,用户名和密码,以明文形式,保存在口令文件中 syslog facility = local5 指定日志等级,一般指发送给rsyslog的日志等级; secrets file = /etc/rsync.pas 指定Rsync认证口令文件,只有配置了auth users,此配置才生效,这里要注意客户端和服 务器端的配置格式。 ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件,这对于在需要备份的目录中有些不应该被备份者获取的文件时非常有意义 timeout 600 设置客户端连接超时时间,确保服务器不会永远等待一个奔溃的客户端。 dont compress=*.gz 指定哪些文件在传输之前,不需要进行压缩的文件。 max connections = 4 指定此模块最大的并发连接数为4,超过的告知随后再试 exclude指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。 Exclude from指定一个包含 exclude 规则定义的文件名,服务器从该文件中读取 exclude 列表定义 include指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式 Include from指定一个包含 include 规则定义的文件名,服务器从该文件中读取 include 列表定义 2.4、 建立Rsync口令文件 创建口令文件 touch /etc/rsync.pas #口令文件,保存Rsync用户和密码验证信息,不需要是系统账号; vi /etc/rsync.pas xy:abc123 #格式为 用户名:口令,此账号不用是系统账号 注意与后面的客户端口令文件的格式进行比较,相较两者不同点,这一点,有很多童鞋容易弄错了,重要的事情说三遍,注意格式,注意格式,注意格式。 2.5、 口令文件权限 口令文件,需要设置口令文件权限,这一步同样非常重要,Rsync对权限的要求还是比较敏感的。 #chown root:root /etc/rsync.pas #root:root 指的是当前启动此服务的用户,并设置为属主 #chmod 600 /etc/rsync.pas #指定启动此Rsync服务的用户的权限为只读权限,也就是前面提到的属主的权限。 3、 Rsync客户端 客户端本例,选择windows的cwrsync工具,安装不用多说。 3.1、 创建口令文件 新建rsync.pas文件,添加内如如下: 因为我使用的用户名是xy,此设置的密码,必须跟服务器端rsync.pas口令文件中设置的密码一样,比如本例口令为abc123; 那么,本例中设置为: abc123 3.2、 口令文件权限 windows 口令文件的权限一定要设置正确,否则验证无法通过,应将口令文件c:\rsync.pas的权限加入系统登录的账号读取权限以及设置其为该文件的所有者 (这里跟服务器端有点不同,正常来说,无论windows还是liunx,服务器端的这个用户名,应该是启动Rsync服务的用户名,但是对于 windows客户端来说,一般都是系统登录账号) 定位到cwRsync客户端安装目录,C:\Program Files (x86)\cwRsync\bin chmod 600 /cygdrive/c/rsync.pas chown administrator /cygdrive/c/rsync.pas #如果没有chown.exe文件,可以从服务器端的安装目录的bin目录下直接复制过来就可以使用, 注:Rsync对路径的书写格式,与windows不同,它是遵循,postfix书写格式, 3.3、 同步文件 Rsync同步的六种格式 当Rsync已经做好服务器端和客户端的配置之后,接下来就是通过Rsync命令,像服务器发起命令请求,来完成文件的同步操作,Rsync的功能非常强大,提供了六种格式,来支持Rsync的六种工作方式; rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... [USER@]HOST::SRC DEST rsync [OPTION]... SRC [USER@]HOST::DEST rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 对于以上六种命令格式, 1) rsync [OPTION]... SRC DEST 拷贝本地文件,当SRC和DEST路径信息都不包含有单个冒号“:“,就启动此工作模式, rsync.exe –vzrtopg /data /backup 2) rsync [OPTION]... SRC [USER@]HOST:DEST 使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src 3) rsync [OPTION]... [USER@]HOST:SRC DEST 使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data 4) rsync [OPTION]... [USER@]HOST::SRC DEST 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack,其中www是在rsync配置文件中,指定的模块的名称。 5) rsync [OPTION]... SRC [USER@]HOST::DEST 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www,其中www是在rsync配置文件中,指定的模块的名称。 6) rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www 上传同步文件 rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas 解释: rsync.exe 即rsync命令 vzrtopg 指定参数,传输的详细信息; --delete 删除哪些在DST中存在,而SRC中没有存在的文件或者目录 /cygdrive/c/test/*.txt 注意这里的格式,不能使用windows的格式,必须使用POSTFIX标准格式; xy@192.168.31.13::Jindie xy是有权访问服务器的用户名,192.168.31.13是服务器地址,Jindie是服务器端配置文件中指定的模块,这个模块中指定用户信息和同步路径;服务器地址和模块之间,用两个冒号隔开。 --password-file=/cygdrive/c/rsync.pas 口令文件,当中含有xy账号的密码,要与服务器端配置文件rsyncd.conf中指定的口令文件中设置的密码相同。 下载同步文件 rsync.exe -vzrtopg --progress --delete xy@192.168.31.13::Jindie /cygdrive/c/test --password-file=/cygdrive/c/rsync.pas 通常,因为上传和下载的方向性不同,直接调换源文件路径和目标地址的路径,即可。 4、 定时同步备份 把上面的命令写入到批处理器文件中,比如test.bat,通过任务计划来实现定时备份。 C:\Program Files (x86)\cwRsync\bin rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas 复制上面命令,保存到test.bat文件中, 开始 -- 所有程序-- 附件--系统工具--任务计划程序 展开 任务计划程序库--Microsoft,右击 “创建基本任务“ 创建基本任务向导,输入 ”名称” 点击 “下一步” 任务触发器,根据实际需要,设置每日,每周,每月同步,这里,我选择每日备份,可以减少带宽压力。 设置,每日启动的时间,这里设置每日,凌晨1点,点击 “下一步” 选择 “启动程序“ 浏览,选择 脚本文件 点击 “完成” 到此,部署,已经全部完成。

优秀的个人博客,低调大师

自动化生成 Openstack 新项目开发框架

目录 目录 前言 环境 openstack-project-generator 前言 Openstack Developer 应该都知道, 开发一个 Openstack 的新项目并不是一个从 0 到 1 的过程, 而是在一个 Project Template 的框架中, 为其填充 API/DB/Manager 等代码定义和实现. 一般来说, 搭建这个 Template 框架并不困难, 只是太过繁琐. 本篇推荐的开源小项目, 可以非常帮助我们完成这些繁琐的工作, 用法也很简单. 如果大家能帮忙提交 BUG 的话, 我会非常欢迎和感谢 . Github 地址 环境 OS: Ubuntu 14.04 Openstack(Devstack) Version: Liberty openstack-project-generator 使用手册 从 Github下载 : git clone https://github.com/JmilkFan/openstack-project-generator.git 执行 Bash 脚本 : NOTE: <new_manager_service_name> <new_project_name> 不能同名 cd openstack-project-generator ./generate.sh -m <new_manager_service_name> <new_project_name> <new_project_path> # EG: ./generate.sh -m promanager proname /opt/stack 一个小 BUG: 新项目需要从 openstack-project-generator/.git 中获取 version 的信息 cp -pr /opt/stack/openstack-project-generator/.git /opt/stack/proname 安装新项目 sudo pip install -r /opt/stack/proname/requirements.txt -e . 生成配置文件 mkdir /etc/proname cd /opt/stack/proname/etc/proname/ sudo cp proname.conf.sample /etc/proname/proname.conf sudo cp api-httpd.conf api-paste.ini logging_sample.conf policy.json rootwrap.conf /etc/proname 编辑配置文件 NOTE: 配置文件中 { } 内的值需要被替换 sudo vim /etc/proname/proname.conf [database] connection=mysql+pymysql://{username}:{password}@{mysql_ip}/pronname?charset=utf8 [default] my_ip=127.0.0.1 rabbit_port=5672 rabbit_userid = stackrabbit rabbit_password = {rabbit_password} rabbit_hosts = {rabbit_hosts_ip} osapi_proname_listen=0.0.0.0 osapi_proname_listen_port=8848 auth_strategy=keystone debug = True verbose = True [keystone_authtoken] admin_password = {password} admin_user = nova admin_tenant_name = service identity_uri = http://{keystone_ip}:35357 auth_protocol = http auth_port = 35357 auth_host = {keystone_host_ip} tox 测试 cd /opt/stack/proname tox -e genconfig tox -e pep8 tox -e py27 创建项目数据库 # 保证 proname 数据库下的所有表的编码集都是 utf8 CREATE DATABASE proname CHARACTER SET utf8; GRANT ALL ON proname.* TO 'proname'@'%' IDENTIFIED BY 'password'; GRANT ALL ON proname.* TO 'proname'@'127.0.0.1' IDENTIFIED BY 'password'; GRANT ALL ON proname.* TO 'proname'@'localhost' IDENTIFIED BY 'password'; 初始化数据库 proname-manage db_sync 验证服务是否正常运行 proname-api --config-file /etc/proname/proname.conf 到此为止, 新项目的服务就部署完成了, 赶紧撸代码吧 : )

优秀的个人博客,低调大师

python实现自动监控网站并发送邮件告警

通过定时执行python脚本,可以实现定期批量访问网站,如果发现网站打不开,第一时间发邮件到管理员邮箱进行预警 这里用的是python3.5 需要安装的插件: smtplib:发邮件需要用到 pycurl:访问网站时会需要用到 linecache:在读取txt网站清单时需要用到 具体思路: python程序从txt里面批量读取到网站的信息,通过Curl.py模拟浏览器去访问网站,并且把访问的结果写入到以自己的网站名称-日期.txt格式的文件中记录;有几种情况: 1、如果发现打不开了,直接发邮件提示网站已经打不开 2、发现可以打开,读取文件中上一次访问的情况(读取txt文件最后一行), 1)如果发现上一次是打不开的,发邮件提醒网站已经恢复了 2)如果发现上一次是打得开的(200的返回码),只是记录网站访问的日志就可以了 总共4个文件, Email.py是邮件类,主要用来发邮件的时候调用,这里需要按照你的情况改成你的邮箱(msg['From']),邮箱服务器地址(SMTP地址),和你的邮箱密码(SMTP.login) Email.py #!/usr/bin/python #-*-coding:utf-8-*- importsys importsmtplib fromemail.mime.textimportMIMEText fromemail.mime.multipartimportMIMEMultipart classEmail_send(object): def__init__(self,msgTo,data2,Subject): self.msgTo=msgTo self.data2=data2 self.Subject=Subject defsendEmail(self): #(attachment,html)=content msg=MIMEMultipart() msg['Subject']=self.Subject msg['From']='xxxx@xxxx.com.cn' msg['To']=self.msgTo html_att=MIMEText(self.data2,'html','utf-8') #att=MIMEText(attachment,'plain','utf-8') msg.attach(html_att) #msg.attach(att) try: smtp=smtplib.SMTP() smtp.connect('smtp.xxxx.com',25) smtp.login(msg['From'],'xxxx')#改成自己的邮箱密码 smtp.sendmail(msg['From'],msg['To'].split(','),msg.as_string()) return('邮件发送成功') exceptExceptionase: print('--------------sss------',e) defcurl(self): importpycurl c=pycurl.Curl() #url="www.luoan.com.cn" #indexfile=open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb") c.setopt(c.URL,url) c.setopt(c.VERBOSE,1) c.setopt(c.ENCODING,"gzip") #模拟火狐浏览器 c.setopt(c.USERAGENT,"Mozilla/5.0(WindowsNT6.1;rv:35.0)Gecko/20100101Firefox/35.0") returnc Curl.py 主要用来执行模拟浏览器访问网站并返回结果的文件 #!/usr/bin/python #-*-coding:utf-8-*- importsys importpycurl classCurl(object): def__init__(self,url): self.url=url defCurl_site(self): c=pycurl.Curl() #url="www.luoan.com.cn" #indexfile=open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb") c.setopt(c.URL,self.url) c.setopt(c.VERBOSE,1) c.setopt(c.ENCODING,"gzip") #模拟火狐浏览器 c.setopt(c.USERAGENT,"Mozilla/5.0(WindowsNT6.1;rv:35.0)Gecko/20100101Firefox/35.0") returnc site_moniter.py 这个文件为主程序,主要执行调用上面的函数,读取txt文件中的网站清单,如果网站打不开就发邮件出来告警 需要注意:1、把xxxx@xxxx.com改成你自己的邮箱, 2、把文件路径改成自己的真实路径 #!/usr/bin/python #-*-coding:utf-8-*- importpycurl importos importsys importlinecache importtime#引入事件类,用来获取系统当前时间 #fromceshiimportStudent fromEmailimportEmail_send fromCurlimportCurl #bart=Student('mafei',59) #bart.print_score() defscript(urls,type): msgTo='xxxx@xxxx.com' now_time=time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time())) j=1 #data2=[{'aa':'aa'}] forurl_splitinurls: #print(url_split) url_1=url_split.split('---') url=url_1[1] recovery_title="监控通知----%surl:%s"%(url_1[0],url)+"在"+time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time()))+"已经恢复" down_title="监控通知----%surl:%s"%(url_1[0],url)+"在"+time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time()))+"无法打开" #print('~~~~~~~~~~~~~~~~~~~') #print(url) #引用爬去网站的类,调用结果 url_result=Curl(url) c=url_result.Curl_site() try: c.perform() code=str(c.getinfo(c.HTTP_CODE)) print(code+'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa') exceptExceptionase: print('--------错误信息:--------',e) #indexfile.close() #c.close() code=str(c.getinfo(c.HTTP_CODE)) #print(code+'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa') filename='%s-%s.txt'%(url_1[0],time.strftime("%Y-%m-%d",time.localtime(time.time()))) #判断如果在网站无法打开的情况下 ifcode=='0'orcode=='400'orcode=='500'orcode=='404': resolveTime=0 Connection_Time=0 Transfer_Total_Time=0 Total_Time=0 #print('为000000000000000000000000000000000000000000') data3='网站:%s无法打开%s'%(url_1[0],url) #indexfile.close() #c.close() #判断网站如果挂了就发邮件 stat3=Email_send(msgTo,data3,down_title) resole=stat3.sendEmail() print(resole) print(data3+'邮件已经发送') else: #resolveTime=str(c.getinfo(c.NAMELOOKUP_TIME)*1000)+"ms" #Connection_Time=str(float(c.getinfo(c.CONNECT_TIME)*1000-c.getinfo(c.NAMELOOKUP_TIME)*1000))+"ms" #Connection_Time=str(c.getinfo(c.CONNECT_TIME)*1000-c.getinfo(c.NAMELOOKUP_TIME)*1000)+"ms" #Connection_Time=round(float(Connection_Time)) #Transfer_Total_Time=str(c.getinfo(c.TOTAL_TIME)*1000-c.getinfo(c.PRETRANSFER_TIME)*1000)+"ms" #Total_Time=str(c.getinfo(c.TOTAL_TIME)*1000)+"ms" #data2=data #data={'url':url,'HTTPCODE':code,'resolveTime':resolveTime,'Connection_Time':Connection_Time,'Transfer_Total_Time':Transfer_Total_Time,'Total_Time':Total_Time} print('网站可以正常打开') #f=open(filename,'a',encoding='utf-8') file_exit=os.path.exists(filename) #print(file_exit) #判断这个日志文件存不存在 if(file_exit): #读取文件最后一行,为了读取出来最后一次的状态值 file=open(filename,'r',encoding='utf-8') linecount=len(file.readlines()) data=linecache.getline(filename,linecount) file.close ifdata=='': print('这是'+data+'为空的数据') else: print('其他信息%s'%(data)) explode=data.split('----') #判断如果读取出来的值,最后一次是异常的情况就告警 ifexplode[3]=='0\n'orexplode[3]=='400\n'orexplode[3]=='500'orexplode[3]=='404': data3='网站:%s在%s已经恢复%s'%(url_1[0],now_time,url) stat3=Email_send(msgTo,data3,recovery_title) resole=stat3.sendEmail() print(resole) print(data3+'邮件已经发送') else: print('最后一次记录为其他值:%s'%(explode[3])+'-----') else: print('文件不存在') data2='\n'+url_1[0]+'----'+url+'-----'+time.strftime("%H:%M:%S",time.localtime(time.time()))+'-------'+code print('data2数据写入成功:'+data2) file=open(filename,'a',encoding='utf-8') file.write(data2) file.close #bart=Student(data2,59) #bart.print_score() if__name__=="__main__": type="监控通知-测试"+time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time())) data1=['公司门户---www.luoan.com.cn','公司平台---yun.luoan.com.cn'] #script(data1,type) #中心层面的网站清单 file=open('D:\python\site_moniter\zhongxin.txt') data2=[] while1: line2=file.readline() print(line2) ifnotline2: break data2.append(line2[0:-1]) #data2=['www.luoan.com.cn','yun.luoan.com.cn','www.qq.com'] print(data2) title="监控通知-中心"+time.strftime("%Y-%m-%d%H:%M:%S",time.localtime(time.time())) script(data2,title)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册