linux中生成考核用的NTFS文件系统(历史版本)

注2017年6月25日修改：这个版本想得复杂了，还是改为python脚本容易实现的方式。见相关blog(ntfs案例一)

目的：

        生成一个NTFS文件系统，要求：

        1、$MFT至少2个碎片

        2、根目录下建90个以从1开始的数字编号为名的子目录，每个子目录下建80-100个文件，文件编号从1开始编起。

        3、有大量文件是由2个或以上碎片组成。(本例多为2个碎片)

1、shell 脚本如下：

!/bin/sh #  Script.sh #   # #  Created by 张宇 on 2017/3/29. 此脚本已包含后面的命令 # mkdir ~/$1 cd ~/$1 qemu-img create -f raw $1.img 1G qemu-nbd -f raw -c /dev/nbd0 $1.img parted -s /dev/nbd0 mklabel msdos parted -s /dev/nbd0 mkpart -s primary NTFS 128s 100% mkfs.ntfs -f /dev/nbd0p1 mount.ntfs-3g /dev/nbd0p1 /mnt #第一段for，先创建30个子目录，每个目录下80-100个文件，大小为16K-48K，这一段基本连续 for((i=1;i<=3;i++));do  mkdir /mnt/$i  r1=$(($RANDOM % 20))  for((ii=1;ii<80+$r1;ii++));do   r2=$(($RANDOM % 64 + 32))   dd if=/dev/urandom of=/mnt/$i/$ii bs=512 count=$r2  done done #sleep 60 便于让文件系统flush #sleep 60 mkdir /mnt/padding cd /mnt/padding #填充65000个文件，这样可以使NTFS $MFT填充到第一个使用的数据区段，从而产生$MFT 碎片。 for((i=1;i<65000;i++));do  touch $i done #创建出其他4-90子目录，这些文件会位于$MFT的第二个片断或以后 for((i=4;i<=90;i++));do  mkdir /mnt/$i  r1=$(($RANDOM % 20))  for((ii=1;ii<80+$r1;ii++));do   r2=$(($RANDOM % 64 + 32))   dd if=/dev/urandom of=/mnt/$i/$ii bs=512 count=$r2  done done #sleep 60 #第二段for，使用dd把第一段for创建出的文件，从0-16K的位置，写入48K-80K，基本保证>约2个碎片，子目录3下的文件是第一段$MFT下的文件，3之后的为$MFT第二个片断。 for((i=3;i<=90;i++));do  cd /mnt/$i  for ii in `ls`;do   r2=$(($RANDOM % 64 + 96))   r3=$(($RANDOM % 32))   dd if=/dev/urandom of=/mnt/$i/$ii bs=512 seek=$r3 count=$r2  done done #删除padding，以免目录结构太臃肿 rm -rf /mnt/padding cd /mnt find . -type f -print|xargs md5sum -b |tr a-z A-Z 1>~/$1/md5.list for i in `find . -type f`;do ntfscluster -f -F $i /dev/nbd0p1;done 1>~/$1/file.info 2>/dev/null

2、在shell中执行如下命令：

qemu-img create -f raw test2.img 1G qemu-nbd -f raw -c /dev/nbd0 test2.img fdisk /dev/nbd0  #此命令交互，目的为/dev/nbd0分个区，不想交互，可使用parted加参数 mkfs.ntfs -f /dev/nbd0p1 mount.ntfs-3g /dev/nbd0p1 /mnt /bin/bash run.sh

3、测试结果是否满意：

命令一：ntfscluster -f -I 0 /dev/nbd0p1

结果与预想相符，$mft果然为2个片断：

Forced to continue.

Dump: /$MFT

    0x10 - resident

    0x30 - resident

    0x80 - non-resident

             VCN     LCN     Length

               0        4    16387

           16387    20488     1880

    0xb0 - non-resident

             VCN     LCN     Length

               0        2        2

               2    16391        1

命令二：ntfscluster -f -F 1/ /dev/nbd0p1

结果与预想相符，抽样目录，也为2个片断

Forced to continue.

Unnormalized path 1/

Dump: /1

    0x10 - resident

    0x30 - resident

    0x50 - resident

    0x90 - resident

    0xa0 - non-resident

             VCN     LCN     Length

               0    53328        2

               2    49238        1

    0xb0 - resident

命令三： ntfscluster -f -F 60/9 /dev/nbd0p1

结果与预想相符，抽样文件，也为2个片断

Forced to continue.

Dump: /60/9

    0x10 - resident

    0x30 - resident

    0x50 - resident

    0x80 - non-resident

             VCN     LCN     Length

               0   211991        8

               8   115298        7

4、生成所有文件的md5 哈希，便于生成考核答案

cd /mnt find . -type f -print|xargs md5sum -b |tr a-z A-Z

5、生成所有文件的碎片信息，便于生成考核答案

cd /mnt for i in `find . -type f`;do ntfscluster -f -F $i /dev/nbd0p1;done 2>/dev/null

6、生成目录的碎片信息，便于生成考核答案

cd /mnt for i in `find . -type d`;do ntfscluster -f -F $i /dev/nbd0p1;done 2>/dev/null

7、生成元文件的文件记录信息，便于生成考核答案

for((i=0;i<16;i++));do ntfscluster -f -I $i /dev/nbd0p1;done 2>/dev/null

    或者通过命令:ntfscluster -i -f /dev/nbd0p1,

    查看如下值：initialized mft records : 73115

    再执行，下面命令即可将所有文件的碎片信息打印出来，再做加工，即可生成考核答案

for((i=0;i<73115;i++));do ntfscluster -f -I $i /dev/nbd0p1;done 2>/dev/null

ntfs-3g源码改动：

1、ntfscluster.c 400行while改为如下，目的是便于输出结果用grep,sed或awk加工

    while ((rec = find_attribute(AT_UNUSED, ctx))) {                 ntfs_log_info("    0x%02x - ", (int)le32_to_cpu(rec->type));                 if (rec->non_resident) {                         ntfs_log_info("non-resident\n");                         runs = ntfs_mapping_pairs_decompress(vol, rec, NULL);                         if (runs) {                                 ntfs_log_info("             INODE   ATTR     RUN#      VCN      LCN   Length\n");                                 for (i = 0; runs[i].length > 0; i++) {                                         ntfs_log_info("          %8lld   0x%02x %8lld %8lld %8lld %8lld\n",                                                         (long long)(ino->mft_no & 0x0000FFFFFFFFFFFFUL),                                                         (int)le32_to_cpu(rec->type),                                                         (long long)i,                                                         (long long)runs[i].vcn,                                                         (long long)runs[i].lcn,                                                         (long long)                                                         runs[i].length);                                 }                                 ntfs_log_info("             [INFO]:0x%02xRuns:%d,Inode:%lld,path:%s\n",                                                         (int)le32_to_cpu(rec->type),                                                         i,                                                         (long long)(ino->mft_no & 0x0000FFFFFFFFFFFFUL),                                                         buffer);                                 free(runs);                         }                 } else {                         ntfs_log_info("resident\n");                 }         }

结果将如下：

Dump: /50/3

    0x10 - resident

    0x30 - resident

    0x50 - resident

    0x80 - non-resident

             INODE   ATTR    RUN#    VCN     LCN     Length

           69425     0x80        0        0   194588        9

           69425     0x80        1        9   217183        8

             [INFO]:0x80Runs:2,Inode:69425,path:/50/3

考题及答案生成部分：

1、$MFT:$DATA

2、$MFT:$BITMAP

3、在$MFT第一个片断中的，拥有$DATA：RUNLIST唯一一条记录的文件，回答其MD5

4、在$MFT第二个片断中的，拥有$DATA：RUNLIST两条记录的文件，回答其MD5

5、读取某个拥有至少2个A0属性的目录块的MD5

6、给定一个起始簇号，解释一个RUNLIST的前3条记录(样本中至少有3条记录)

7、恢复一个删除的文件 （可生成答案后，删除某个目录，再恢复其下面的某个文件即可）