首页 文章 精选 留言 我的

精选列表

搜索[linux],共10000篇文章
优秀的个人博客,低调大师

Linux的企业-分布式文件系统mfs(moosefs)搭建与配置

一、MFS 特性: 1. Free(GPL) 2. 通用文件系统,不需要修改上层应用就可以使用 3. 可以在线扩容,体系架构可伸缩性极强。 4. 部署简单。 5. 高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能,只会加速) 6. 可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务,不怕误操作了,提供类似 oralce 的闪回等高级 dbms 的即时回滚特性) 7. 提供 netapp,emc,ibm 等商业存储的 snapshot 特性。(可以对整个文件甚至在正在写入的文件创建文件的快照) 8. google filesystem 的一个 c 实现。 9. 提供 web gui 监控接口。 10. 提高随机读或写的效率。 11. 提高海量小文件的读写效率。可能的瓶颈: 1. master 本身的性能瓶颈。mfs 系统 master 存在单点故障如何解决? moosefs+drbd+heartbeat来保证 master 单点问题?不过在使用过程中不可能完全不关机和间歇性的网络中断! 2. 体系架构存储文件总数的可遇见的上限。(mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存 )。 master 服务器 CPU 负载取决于操作的次数,内存的使用取决于文件和文件夹的个数。 二、MFS 文件系统结构:包含 4 种角色: 管理服务器 managing server (master) 元数据日志服务器 Metalogger server(Metalogger) 数据存储服务器 data servers (chunkservers) 客户机挂载使用 client computers 各种角色作用: 1. 管理服务器:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复,多节点拷 贝。 2. 元数据日志服务器: 负责备份 master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在 master server 出问题的时候接替其进行工作。 3. 数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输。 4. 客户端:通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地 unix 文件系统使用一样的效果。 原始的读/写速度很明显是主要取决于所使用的硬盘的性能、网络的容量和拓扑结构的,使用的硬 盘和网络的吞吐量越好,整个系统的性能也就会越好。 三.mfs的安装配置 1.配置环境 redhat6.5 servre1:master 172.25.50.1 mfsmaster server2:chunk 172.25.50.2 server2:chunk 172.25.50.3 真机client:172.25.50.250 2.将mfs源码包变为rpm包安装 安装rpm-build软件 创建rpm包时需要的包依赖 3.在server1上安装mfsmaster 4.使用mfs分布式文件系统需要做好解析 master端 设置为mfsmaster 5.mfsmaster端无需配置,直接启动 master端三个端口正常启动,cgi web图形端口已经打开 6.在客户端做好解析,网页访问 四.server2和server3配置chunk 1.server2安装chunk 安装包依赖 2.server2配置解析 3.配置共享点chunk1 权限限制,在启动chunk server前,需确保用户mfs有权限读写将要被挂载的分区 4.启动chunk 查看数据 4.server3上的chunk配置和server2一样,共享点为chunk2 五.客户端连接 1.安装mfs 客户端软件,配置解析 2.创建挂载点并挂载mfsmount 3.在/mnt/mfs创建两个目录,并设置其文件存储份数 将目录dir1的储存份数设置为1 4.测试 拷贝passwd文件,查看信息: dir1一份 在server2上 dir2二份在server2和server3上 浏览器查看server2和server3 注:关闭一个chunkserver2(172.25.50.2)后,dir1无法查看,因为只存了一份在sevrer2上,但dir2没有影响,因为存了2份,chunkserver2重新启动后,恢复正常。 5.恢复垃圾箱文件: 误删: [root@foundtion50 mfs]# rm -fr /mnt/mfs/dir2/passwd [root@foundtion50mfs]# mfsgettrashtime dir2#查看垃圾箱中文件的保留时间 dir2: 86400##86400s=1day [root@foundtion50mfs]# mkdir /mnt/mfsdeta#创建目录 [root@foundtion50~]# ll -d /mnt/mfsdeta/ drwxr-xr-x 2 root root 4096 Sep 19 18:40 /mnt/mfsdeta/ [root@foundtion50~]# mfsmount -m /mnt/mfsdeta/#挂载 mfsmaster accepted connection with parameters: read-write,restricted_ip [root@foundtion50~]# cd /mnt/mfsdeta/ [root@foundtion50mfsdeta]# ls sustained trash [root@foundtion50mfsdeta]# cd trash/ [root@foundtion50trash]# find -type f ./004/00000004|dir2|passwd [root@foundtion50trash]# mv ./004/00000004\|dir2\|fstab undel/#恢复误删文件 [root@foundtion50trash]# ls /mnt/mfs/dir2/ passwd 本文转自一百个小排 51CTO博客,原文链接:http://blog.51cto.com/anfishr/1975415,如需转载请自行联系原作者

优秀的个人博客,低调大师

笔记:Linux下中小型网站常见的高负载高可用架构

先谈负载层: 一、F5等商业方案 F5为负载均衡器,具有链接高可用性,为商业设备。 二、LVS+Keeplived LVS为负载均衡器,Keeplived支持高可用。都为开源软件。 三、Nginx+Keeplived Nginx为负载均衡器,Keeplived支持高可用。都为开湖软件。其中Nginx针对多核CPU做了优化。 四、DNS轮循和视图 相比较前者DNS轮循缺少节点健康检查和自动剔除的功能。 再说说文件服务器层 一、专有存储设备的负载和高可用 商业设备,性价比不高,稳定性好。适合资金充裕的情况下使用。 二、Drbd+Heartbeat/Corosync+NFS 建议使用Corosync替代Heartbeat做心跳检测,使用Pacemaker来自动化管理集群。Drbd为存储层,相当于网络级别的软件Raid 1,Drbd也支持多主,即负载方式。 三、MooseFS分布式文件系统 性能不错。 四、Hadoop项目 更多的是使用它的分布计算功能。 本文转自xiaoyuwang 51CTO博客,原文链接:http://blog.51cto.com/wangxiaoyu/531161,如需转载请自行联系原作者

优秀的个人博客,低调大师

linux中生成考核用的NTFS文件系统结构样例(一)

实验NTFS-1说明:NTFS-1.img是一个包含NTFS文件系统的磁盘镜像,请使用winhex手工方式读出这个文件系统内的指定文件,并回答其md5 HASH值。 要求: 1、利用WINHEX手工方式读取。 2、不得使用WINHEX模板功能。 3、不得使用WINHEX文件系统解析功能。 4、填写的MD5 HASH值全部为大写,不包括0x头标或H尾标,中间不得有任何间隔符号(包括空格、制表符、’-’等符号),以WINHEX软件运算出的HASH值为准。 实验目的: 1、实现手工方式跟踪一个NTFS文件系统,并读出指定的某个文件。 2、理解目录缓冲区的结构原理。 3、理解文件有多个碎片的处理方式(runlist的结构)。 4、理解DBR、$MFT、FileRecord等文件系统组件。 5、熟练使用WINHEX 题库: 实验NTFS-1中,文件系统中对"/mnt/NTFS-1-58/12.txt",人工读取内容后计算得到的文件MD5HASH值为0x___。////927C94BBFC5B2A545C8526F8272F65F8//容易。。 实验NTFS-1中,文件系统中对"/mnt/NTFS-1-58/7.txt",人工读取内容后计算得到的文件MD5HASH值为0x___。////685A3C1600211F75362F2B9D0541A2DA//容易。。 实验NTFS-1中,文件系统中对"/mnt/NTFS-1-58/4.txt",人工读取内容后计算得到的文件MD5HASH值为0x___。////0C72D420DD8902BBAE41A8C4E6676BCA//容易。。 ...... 附:生成考题的python脚本: #!/usr/bin/python3 importos importrandom importhashlib importstruct r=os.system rc=random.choice ri=random.randint md5=hashlib.md5 items=list(range(1,21)) r("cd~/NTFS-1") fkaoti=open("NTFS-1-kaoti.txt",'w+') r("qemu-imgcreate-frawNTFS-1.img500M") r("losetup/dev/loop0NTFS-1.img") r("mkfs.ntfs-f/dev/loop0") r("mount.ntfs-3g/dev/loop0/mnt") foriinrange(1,60): r("mkdir/mnt/NTFS-1-%d"%i) random.shuffle(items) foriiinitems: f=open("/mnt/NTFS-1-%d/%d.txt"%(i,ii),'w+') foriiiinrange(1,ri(500,550)): ifri(1,32)==1: f.write("*****COPYRIGHT:") else: f.write("www.frombyte.com") f.close() foriinrange(1,60): random.shuffle(items) foriiinitems: f=open("/mnt/NTFS-1-%d/%d.txt"%(i,ii),'a') foriiiinrange(1,ri(1000,1100)): ifri(1,32)==1: f.write("*****COPYRIGHT:") else: f.write("www.frombyte.com") f.close() #//对40以后的目录生成MD5HASH,40之后即不可能存在于第一个目录块 foriinrange(40,60): foriiinitems: fn="/mnt/NTFS-1-%d/%d.txt"%(i,ii) ff=open(fn,'r') data=ff.read() ff.close() fkaoti.write("实验NTFS-1中,文件系统中对\"%s\",人工读取内容后计算得到的文件MD5HASH值为0x___。//%s//容易。。\n"\ %(fn,md5(data.encode("utf8")).hexdigest().upper())) fkaoti.flush() fkaoti.close() r("cd") r("umount/dev/loop0") r("losetup-d/dev/loop0") 部署流程: 1、在liunx下执行上述脚本,生成NTFS-1.img和NTFS-1-kaoti.txt(可以生成两份,一份用于练习,一份用于考试)。 2、针对每一份考题,把NTFS-1-kaoti.txt导入考试系统。 3、针对每一份考题,把NTFS-1.img放入考试系统指定目录。 4、不得将用于考试的直接涉及答案的文件放入考试系统磁盘中。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册