mapreduce作业单元测试-低调大师

mapreduce作业单元测试

2017-08-31 537

用官方提供的MRunit包进行对MapReducer作业进行测试

http://mrunit.apache.org/

先要下载对应的测试包，分为1.0和2.0的hadoop版本

来自：

https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

Mapper

   Java代码 
    
    
  
import org.apache.hadoop.io.IntWritable;   
 import org.apache.hadoop.io.LongWritable;    
 import org.apache.hadoop.io.Text;    
 import org.apache.hadoop.mapreduce.Mapper;    
  
 public class SMSCDRMapper extends Mapper<LongWritable, Text, Text, IntWritable>    
{   
  
     private Text status = new Text();    
  
     private final static IntWritable addOne = new IntWritable(1);    
  
     @Override   
     protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException    
    {   
  
         //655209;1;796764372490213;804422938115889;6 is the Sample record format    
         String[] line = value.toString().split(";");    
         // If record is of SMS CDR    
         if (Integer.parseInt(line[1]) == 1)    
        {   
             status.set(line[4]);    
            context.write(status, addOne);   
        }   
    }   
  
}  

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class SMSCDRMapper extends Mapper<LongWritable, Text, Text, IntWritable>
{

    private Text status = new Text();

    private final static IntWritable addOne = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException
    {

        //655209;1;796764372490213;804422938115889;6 is the Sample record format
        String[] line = value.toString().split(";");
        // If record is of SMS CDR
        if (Integer.parseInt(line[1]) == 1)
        {
            status.set(line[4]);
            context.write(status, addOne);
        }
    }

}

Reducer:

   Java代码 
    
    
  
import java.util.List;   
  
 import org.apache.hadoop.io.IntWritable;    
 import org.apache.hadoop.io.LongWritable;    
 import org.apache.hadoop.io.Text;    
 import org.apache.hadoop.mrunit.mapreduce.MapDriver;    
 import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;    
 import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;    
 import org.junit.Before;    
 import org.junit.Test;    
  
 import flex.messaging.io.ArrayList;    
  
 public class SMSCDRMapperReducerTest    
{   
    MapDriver<LongWritable, Text, Text, IntWritable> mapDriver;   
    ReduceDriver<Text, IntWritable, Text, IntWritable> reduceDriver;   
    MapReduceDriver<LongWritable, Text, Text, IntWritable, Text, IntWritable> mapReduceDriver;   
     @Before   
     public void setup()    
    {   
         SMSCDRMapper mapper = new SMSCDRMapper();    
         SMSCDRReducer reducer = new SMSCDRReducer();    
        mapDriver = MapDriver.newMapDriver(mapper);   
           
        reduceDriver = ReduceDriver.newReduceDriver(reducer);   
        mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);   
    }   
       
     @Test   
     public void testMapper()    
    {   
         mapDriver.withInput(new LongWritable(), new Text(    
         "655209;1;796764372490213;804422938115889;6"));    
         mapDriver.withOutput(new Text("6"), new IntWritable(1));    
        mapDriver.runTest();   
    }   
       
     @Test   
     public void testReducer()    
    {   
         List<IntWritable> values = new ArrayList();    
         values.add(new IntWritable(1));    
         values.add(new IntWritable(1));    
         reduceDriver.withInput(new Text("6"), values);    
         reduceDriver.withOutput(new Text("6"), new IntWritable(2));    
        reduceDriver.runTest();   
    }   
}  

import java.util.List;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;

import flex.messaging.io.ArrayList;

public class SMSCDRMapperReducerTest
{
    MapDriver<LongWritable, Text, Text, IntWritable> mapDriver;
    ReduceDriver<Text, IntWritable, Text, IntWritable> reduceDriver;
    MapReduceDriver<LongWritable, Text, Text, IntWritable, Text, IntWritable> mapReduceDriver;
    @Before
    public void setup()
    {
        SMSCDRMapper mapper = new SMSCDRMapper();
        SMSCDRReducer reducer = new SMSCDRReducer();
        mapDriver = MapDriver.newMapDriver(mapper);
        
        reduceDriver = ReduceDriver.newReduceDriver(reducer);
        mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);
    }
    
    @Test
    public void testMapper()
    {
        mapDriver.withInput(new LongWritable(), new Text(
        "655209;1;796764372490213;804422938115889;6"));
        mapDriver.withOutput(new Text("6"), new IntWritable(1));
        mapDriver.runTest();
    }
    
    @Test
    public void testReducer()
    {
        List<IntWritable> values = new ArrayList();
        values.add(new IntWritable(1));
        values.add(new IntWritable(1));
        reduceDriver.withInput(new Text("6"), values);
        reduceDriver.withOutput(new Text("6"), new IntWritable(2));
        reduceDriver.runTest();
    }
}

Test测试类

   Java代码 
    
    
  
import java.util.List;   
  
 import org.apache.hadoop.io.IntWritable;    
 import org.apache.hadoop.io.LongWritable;    
 import org.apache.hadoop.io.Text;    
 import org.apache.hadoop.mrunit.mapreduce.MapDriver;    
 import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;    
 import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;    
 import org.junit.Before;    
 import org.junit.Test;    
  
 import flex.messaging.io.ArrayList;    
  
 public class SMSCDRMapperReducerTest    
{   
    MapDriver<LongWritable, Text, Text, IntWritable> mapDriver;   
    ReduceDriver<Text, IntWritable, Text, IntWritable> reduceDriver;   
    MapReduceDriver<LongWritable, Text, Text, IntWritable, Text, IntWritable> mapReduceDriver;   
     @Before   
     public void setup()    
    {   
         SMSCDRMapper mapper = new SMSCDRMapper();    
         SMSCDRReducer reducer = new SMSCDRReducer();    
        mapDriver = MapDriver.newMapDriver(mapper);   
           
        reduceDriver = ReduceDriver.newReduceDriver(reducer);   
        mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);   
    }   
       
     @Test   
     public void testMapper()    
    {   
         mapDriver.withInput(new LongWritable(), new Text(    
         "655209;1;796764372490213;804422938115889;6"));    
         mapDriver.withOutput(new Text("6"), new IntWritable(1));    
        mapDriver.runTest();   
    }   
       
     @Test   
     public void testReducer()    
    {   
         List<IntWritable> values = new ArrayList();    
         values.add(new IntWritable(1));    
         values.add(new IntWritable(1));    
         reduceDriver.withInput(new Text("6"), values);    
         reduceDriver.withOutput(new Text("6"), new IntWritable(2));    
        reduceDriver.runTest();   
    }   
}  

import java.util.List;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;

import flex.messaging.io.ArrayList;

public class SMSCDRMapperReducerTest
{
    MapDriver<LongWritable, Text, Text, IntWritable> mapDriver;
    ReduceDriver<Text, IntWritable, Text, IntWritable> reduceDriver;
    MapReduceDriver<LongWritable, Text, Text, IntWritable, Text, IntWritable> mapReduceDriver;
    @Before
    public void setup()
    {
        SMSCDRMapper mapper = new SMSCDRMapper();
        SMSCDRReducer reducer = new SMSCDRReducer();
        mapDriver = MapDriver.newMapDriver(mapper);
        
        reduceDriver = ReduceDriver.newReduceDriver(reducer);
        mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);
    }
    
    @Test
    public void testMapper()
    {
        mapDriver.withInput(new LongWritable(), new Text(
        "655209;1;796764372490213;804422938115889;6"));
        mapDriver.withOutput(new Text("6"), new IntWritable(1));
        mapDriver.runTest();
    }
    
    @Test
    public void testReducer()
    {
        List<IntWritable> values = new ArrayList();
        values.add(new IntWritable(1));
        values.add(new IntWritable(1));
        reduceDriver.withInput(new Text("6"), values);
        reduceDriver.withOutput(new Text("6"), new IntWritable(2));
        reduceDriver.runTest();
    }
}

转自http://piaoling.iteye.com/blog/1672683

本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/archive/2013/04/09/3011240.html，如需转载请自行联系原作者。

微信关注我们

原文链接：https://yq.aliyun.com/articles/357795

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

直面Hadoop MapReduce问题与复杂性

文章讲的是直面Hadoop MapReduce问题与复杂性，作为最具代表性的大数据技术之一，Hadoop对那些准备探索业务影响力数据的IT部门非常有吸引力。Hadoop的分布式处理方法更适合处理海量非结构化数据，但是Hadoop及其相关的MapReduce编程模型并不是万灵药，MapReduce和Hadoop的问题时刻影响着大数据新手们。部署Hadoop的用户可能遇到的问题包括复杂性、性能和系统管理。但是，人们对它的关注仍在不断提高。MarketAnalysis.com估计，Hadoop MapReduce市场将以每年58%的速度增长，到2018年前达到22亿美元。Hadoop(最初由雅虎开发)生态系统包含的工具非常多，而且仍在不断增加。但是，找到合适的团队成员并不是一件容易的事。数据仓库咨询公司Caserta Concepts的总裁Joe Caserta说：“当我们谈到Hadoop时，它实际上只是一种分布式文件系统。所有分布式系统都有一些工具，只有这些工具才能操作分布式数据系统的数据。它们包括Hive查询工具，可以模拟结构化数据;Pig，它实际上是一个操作Hadoop数据的E...

2017-09-01

553

安装链接： http://www.cnblogs.com/lion.NET/p/5477899.html http://www.aboutyun.com/thread-9075-1-1.html 官网： http://www.cloudera.com/ 安装方式：建议离线安装，可以单独下载CM和CDH组件 1、CDH介绍 1.1、什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装，可以使用Cloudera Manager进行自动化安装。 Cloudera-Managerceql(本文中简称CM)是一个工具，CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单。后续有非常多设定、监控等麻烦的事要处理，CM都能够做到，有些类似Casti。Cloudera Manager整合了一列的功能让系统管理者能更方便的维护Hadoop。 1.2、CDH的主要功能? 管理监控诊断集成 1.3、CDH版本衍化 Hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了...

2017-09-03

605

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。