Hadoop分布式文件系统模拟桩HDFS_MOCK
简介 Hdfs_mock属于单测工具，如果c/c++模块以API方式访问hdfs（相对于脚本模块会使用客户端方式），那么有了hdfs_mock就可以在没有真实hdfs情况下，协助进行手工或自动化测试。背景在linkcache模块单元测试（持续集成）时，遇到了一个问题：该模块会以API方式进行hdfs上文件的增删改查等操作，先不说搭建hdfs是一件费时费力得不尝试的事情，即使在单测阶段能够采用搭建真实环境进行测试，仍然存在以下弊端： • 异常测试：hdfs异常情况难于模拟，导致测试覆盖不全面 • 执行时间：访问真实hdfs，自动化测试执行时间难以保证，给快速持续集成带来挑战 • 环境维护：为了支持持久、频繁的持续集成测试，hdfs环境需要始终维持不能变动 • 环境独立：hdfs环境需要与其他测试模块隔离，才能避免相互影响思路分析模块执行过程后发现，c/c++模块在使用API访问hdfs时，采用共享对象so的方式实现。编译时包含标准hdfs.h头文件，运行时查找libhdfs.so中API的实现来完成hdfs访问过程。基于以上分析，设计开发了单测工具hdfs_mock用以替代libhdfs.so，其具有以下特点： • 异常测试：支持从外部设置hdfs内部状态，能够构造各种异常情况进行测试 • 执行时间：内部以本地文件系统方式实现，无网络通信代价，执行速度快 • 环境维护：因为mock so动态加载，所以使用方面直接拷贝本so即可，易于使用维护 • 环境独立：本地按照hdfs主机名分子目录独立维护数据，彼此间不受影响 • 其他：支持标准hdfs API（linkcache使用的10个API函数）设计在没有使用hdfs_mock时的测试过程如下图所示： apache提供的标准hdfs API包含hdfs.h和hdfs.c，编译后生成libhdfs.so。 rd开发linkcache部分代码（HdfsFile.h/HdfsFile.cpp）依赖需要include hdfs.h，在libhdfs.so存在时编译生成libfile.so；运行时以动态方式加载并调用执行libhdfs.so中的代码，输出结果result qa开发测试代码test_HdfsFile.cpp依赖rd代码，在libfile.so存在时编译生成test_HdfsFile程序，执行该测试程序时，同样以动态方式加载并调用执行libfile.so中代码，根据测试结果输出测试报告Test result • hdfsmock_old.JPG: 在使用hdfs_mock后的测试过程如下图所示： 设计开发了hdfs_mock（hdfs_mock.h/hdfs_mock.cpp），include了apache标准hdfs.h以使得接口报纸一致，编译后生成libhdfs.so（图中黄色方框）。其余步骤不变，唯一区别在于，测试执行时，libfile.so所动态加载并调用执行的hdfs API改成了hdfs_mock中的实现了。在hdfs_mock中使用本地文件系统访问替代了hdfs访问以达到模拟API的效果；此外在运行时，也可根据需要在test_HdfsFile中直接调用mock的libhdfs.so中方法来达到设置测试环境（状态、数据）的目的。 • hdfsmock.JPG: 使用方式下面是一个简单使用的例子，配置hdfs为正常状态，然后调用被测函数HDFSSystem::Init链接hdfs成功 QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->resetStat(); mock->_M_stat = QS_TEST_HDFS_STAT_OK; ASSERT_TRUE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**")); 下面的简单跟上例是一组，只是配置hdfs为异常状态，然后调用被测函数HDFSSystem::Init链接hdfs失败 QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->resetStat(); mock->_M_stat = QS_TEST_HDFS_STAT_SHUTDOWN; ASSERT_FALSE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**")); 下面是稍微复杂一点的例子，首先调用hdfs_mock的createHdfsFile接口，在hdfs_mock上模拟建立testfile文件，内容为给定buf开始的NUM个字节，然后构造HdfsFile对象Open打开testfile文件，最后是调用被测函数hf->Read()读取文件内容与标准数据进行比较 // 构造测试环境 uint32_t NUM = 1024U; char* buf = createNumChar(NUM); QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->createHdfsFile("db-testing-ps7002.db01", "./home/spider/testdir/testfile", buf, NUM); // hdfs_mock提供的辅助接口 // 构造被测对象 const string fp("hdfs@db-testing-ps7002.db01/home/spider/testdir/testfile"); HdfsFile* hf = new HdfsFile(fp); hf->Open(O_RDONLY); // 调用被测函数 char rcvBuf[4096]; ASSERT_EQ((ssize_t)NUM, hf->Read(rcvBuf, 4096)); // 测试结果检查 ASSERT_STREQ(buf, rcvBuf); (作者：shaanlan) 【 本文首发于： 百度测试技术空间】 http://hi.baidu.com/baiduqa/blog/item/5bfab4153a6aa7184b90a76f.html 【 关注百度技术沙龙】 本文转自百度技术51CTO博客，原文链接：http://blog.51cto.com/baidutech/743335，如需转载请自行联系原作者
