热门搜索:
您现在的位置是：首页 > 文章详情

MapReduce框架Mapper和Reducer类源码分析

日期：2015-08-06点击：644

一：Mapper类

在Hadoop的mapper类中，有4个主要的函数，分别是：setup，cleanup，map，run。代码如下：

  1. protected void setup(Context context) throws IOException, InterruptedException {
  2. // NOTHING
  3. }

  5. protected void map(KEYIN key, VALUEIN value,
  6.                      Context context) throws IOException, InterruptedException {
  7. context.write((KEYOUT) key, (VALUEOUT) value);
  8. }

  10. protected void cleanup(Context context) throws IOException, InterruptedException {
  11. // NOTHING
  12. }

  14. public void run(Context context) throws IOException, InterruptedException {
  15.     setup(context);
  16.     while (context.nextKeyValue()) {
  17.       map(context.getCurrentKey(), context.getCurrentValue(), context);
  18.     }
  19.     cleanup(context);
  20.   }
  21. }
由上面的代码，我们可以了解到，当调用到map时，通常会先执行一个setup函数，最后会执行一个cleanup函数。而默认情况下，这两个函数的内容都是nothing。因此，当map方法不符合应用要求时，可以试着通过增加setup和cleanup的内容来满足应用的需求。

二：Reducer类

在Hadoop的reducer类中，有3个主要的函数，分别是：setup，clearup，reduce。代码如下：
  1.   /**
  2.    * Called once at the start of the task.
  3.    */
  4.   protected void setup(Context context
  5.                        ) throws IOException, InterruptedException {
  6.     // NOTHING
  7.   }

  2.   /**
  3.    * This method is called once for each key. Most applications will define
  4.    * their reduce class by overriding this method. The default implementation
  5.    * is an identity function.
  6.    */
  7.   @SuppressWarnings("unchecked")
  8.   protected void reduce(KEYIN key, Iterable<VALUEIN> values, Context context
  9.                         ) throws IOException, InterruptedException {
  10.     for(VALUEIN value: values) {
  11.       context.write((KEYOUT) key, (VALUEOUT) value);
  12.     }
  13.   }
  1.   /**
  2.    * Called once at the end of the task.
  3.    */
  4.   protected void cleanup(Context context
  5.                          ) throws IOException, InterruptedException {
  6.     // NOTHING
  7.   }
在用户的应用程序中调用到reducer时，会直接调用reducer里面的run函数，其代码如下：
  1. /*
  2.    * control how the reduce task works.
  3.    */
  4.   @SuppressWarnings("unchecked")
  5.   public void run(Context context) throws IOException, InterruptedException {
  6.     setup(context);
  7.     while (context.nextKey()) {
  8.       reduce(context.getCurrentKey(), context.getValues(), context);
  9.       // If a back up store is used, reset it
  10.       ((ReduceContext.ValueIterator)
  11.           (context.getValues().iterator())).resetBackupStore();
  12.     }
  13.     cleanup(context);
  14.   }
  15. }
由上面的代码，我们可以了解到，当调用到reduce时，通常会先执行一个setup函数，最后会执行一个cleanup函数。而默认情况下，这两个函数的内容都是nothing。因此，当reduce不符合应用要求时，可以试着通过增加setup和cleanup的内容来满足应用的需求。

原文链接：https://yq.aliyun.com/articles/413194
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章