首页 文章 精选 留言 我的

hadoop实例sort

2017-12-28 542

参考文献：http://www.hadooper.cn/dct/page/65777

1排序实例

排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。 输入和输出必须是顺序文件，键和值是BytesWritable.
mapper是预先定义的IdentityMapper，reducer 是预先定义的 IdentityReducer， 两个都是把输入直接的输出。
要运行这个例 子：bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>] <in-dir> <out-dir>

2运行排序基准测试

为了使得排序例子作为一个 基准测试，用 RandomWriter产 生10GB/node 的数据。然后用排序实例来进行排序。这个提供了一个可扩展性依赖于集群的大小的排序基准。默认情况下，排序实例用1.0*capacity作为 reduces的数量，依赖于你的集群的大小你可能会在1.75*capacity的情况下得到更好的结果。

To use the sort example as a benchmark, generate 10GB/node of random data using RandomWriter. Then sort the data using the sort example. This provides a sort benchmark that scales depending on the size of the cluster. By default, the sort example uses 1.0 * capacity for the number of reduces and depending on your cluster you may see better results at 1.75 * capacity.

命令是：

[cpp]  view plain copy print ?
  1. % bin/hadoop jar hadoop-*-examples.jar randomwriter rand  
  2. % bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort  

第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据，排序，然后写入rand-sort 目录

排序支持一般的选项：参见DevelopmentCommandLineOptions

3具体实验

3.1代码实例Sort.java

[cpp]  view plain copy print ?
  1. /** 
  2.  * Licensed to the Apache Software Foundation (ASF) under one 
  3.  * or more contributor license agreements.  See the NOTICE file 
  4.  * distributed with this work for additional information 
  5.  * regarding copyright ownership.  The ASF licenses this file 
  6.  * to you under the Apache License, Version 2.0 (the 
  7.  * "License"); you may not use this file except in compliance 
  8.  * with the License.  You may obtain a copy of the License at 
  9.  * 
  10.  *     http://www.apache.org/licenses/LICENSE-2.0 
  11.  * 
  12.  * Unless required by applicable law or agreed to in writing, software 
  13.  * distributed under the License is distributed on an "AS IS" BASIS, 
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
  15.  * See the License for the specific language governing permissions and 
  16.  * limitations under the License. 
  17.  */  
  18.   
  19. package org.apache.hadoop.examples;  
  20.   
  21. import java.io.IOException;  
  22. import java.net.URI;  
  23. import java.util.*;  
  24.   
  25. import org.apache.hadoop.conf.Configuration;  
  26. import org.apache.hadoop.conf.Configured;  
  27. import org.apache.hadoop.filecache.DistributedCache;  
  28. import org.apache.hadoop.fs.Path;  
  29. import org.apache.hadoop.io.BytesWritable;  
  30. import org.apache.hadoop.io.Writable;  
  31. import org.apache.hadoop.io.WritableComparable;  
  32. import org.apache.hadoop.mapred.*;  
  33. import org.apache.hadoop.mapred.lib.IdentityMapper;  
  34. import org.apache.hadoop.mapred.lib.IdentityReducer;  
  35. import org.apache.hadoop.mapred.lib.InputSampler;  
  36. import org.apache.hadoop.mapred.lib.TotalOrderPartitioner;  
  37. import org.apache.hadoop.util.Tool;  
  38. import org.apache.hadoop.util.ToolRunner;  
  39.   
  40. /** 
  41.  * This is the trivial map/reduce program that does absolutely nothing 
  42.  * other than use the framework to fragment and sort the input values. 
  43.  * 
  44.  * To run: bin/hadoop jar build/hadoop-examples.jar sort 
  45.  *            [-m <i>maps</i>] [-r <i>reduces</i>] 
  46.  *            [-inFormat <i>input format class</i>]  
  47.  *            [-outFormat <i>output format class</i>]  
  48.  *            [-outKey <i>output key class</i>]  
  49.  *            [-outValue <i>output value class</i>]  
  50.  *            [-totalOrder <i>pcnt</i> <i>num samples</i> <i>max splits</i>] 
  51.  *            <i>in-dir</i> <i>out-dir</i>  
  52.  */  
  53. public class Sort<K,V> extends Configured implements Tool {  
  54.   private RunningJob jobResult = null;  
  55.   
  56.   static int printUsage() {  
  57.     System.out.println("sort [-m <maps>] [-r <reduces>] " +  
  58.                        "[-inFormat <input format class>] " +  
  59.                        "[-outFormat <output format class>] " +   
  60.                        "[-outKey <output key class>] " +  
  61.                        "[-outValue <output value class>] " +  
  62.                        "[-totalOrder <pcnt> <num samples> <max splits>] " +  
  63.                        "<input> <output>");  
  64.     ToolRunner.printGenericCommandUsage(System.out);  
  65.     return -1;  
  66.   }  
  67.   
  68.   /** 
  69.    * The main driver for sort program. 
  70.    * Invoke this method to submit the map/reduce job. 
  71.    * @throws IOException When there is communication problems with the  
  72.    *                     job tracker. 
  73.    */  
  74.   public int run(String[] args) throws Exception {  
  75.   
  76.     JobConf jobConf = new JobConf(getConf(), Sort.class);  
  77.     jobConf.setJobName("sorter");  
  78.   
  79.     jobConf.setMapperClass(IdentityMapper.class);          
  80.     jobConf.setReducerClass(IdentityReducer.class);  
  81.   
  82.     JobClient client = new JobClient(jobConf);  
  83.     ClusterStatus cluster = client.getClusterStatus();  
  84.     int num_reduces = (int) (cluster.getMaxReduceTasks() * 0.9);  
  85.     String sort_reduces = jobConf.get("test.sort.reduces_per_host");  
  86.     if (sort_reduces != null) {  
  87.        num_reduces = cluster.getTaskTrackers() *   
  88.                        Integer.parseInt(sort_reduces);  
  89.     }  
  90.     Class<? extends InputFormat> inputFormatClass =   
  91.       SequenceFileInputFormat.class;  
  92.     Class<? extends OutputFormat> outputFormatClass =   
  93.       SequenceFileOutputFormat.class;  
  94.     Class<? extends WritableComparable> outputKeyClass = BytesWritable.class;  
  95.     Class<? extends Writable> outputValueClass = BytesWritable.class;  
  96.     List<String> otherArgs = new ArrayList<String>();  
  97.     InputSampler.Sampler<K,V> sampler = null;  
  98.     for(int i=0; i < args.length; ++i) {  
  99.       try {  
  100.         if ("-m".equals(args[i])) {  
  101.           jobConf.setNumMapTasks(Integer.parseInt(args[++i]));  
  102.         } else if ("-r".equals(args[i])) {  
  103.           num_reduces = Integer.parseInt(args[++i]);  
  104.         } else if ("-inFormat".equals(args[i])) {  
  105.           inputFormatClass =   
  106.             Class.forName(args[++i]).asSubclass(InputFormat.class);  
  107.         } else if ("-outFormat".equals(args[i])) {  
  108.           outputFormatClass =   
  109.             Class.forName(args[++i]).asSubclass(OutputFormat.class);  
  110.         } else if ("-outKey".equals(args[i])) {  
  111.           outputKeyClass =   
  112.             Class.forName(args[++i]).asSubclass(WritableComparable.class);  
  113.         } else if ("-outValue".equals(args[i])) {  
  114.           outputValueClass =   
  115.             Class.forName(args[++i]).asSubclass(Writable.class);  
  116.         } else if ("-totalOrder".equals(args[i])) {  
  117.           double pcnt = Double.parseDouble(args[++i]);  
  118.           int numSamples = Integer.parseInt(args[++i]);  
  119.           int maxSplits = Integer.parseInt(args[++i]);  
  120.           if (0 >= maxSplits) maxSplits = Integer.MAX_VALUE;  
  121.           sampler =  
  122.             new InputSampler.RandomSampler<K,V>(pcnt, numSamples, maxSplits);  
  123.         } else {  
  124.           otherArgs.add(args[i]);  
  125.         }  
  126.       } catch (NumberFormatException except) {  
  127.         System.out.println("ERROR: Integer expected instead of " + args[i]);  
  128.         return printUsage();  
  129.       } catch (ArrayIndexOutOfBoundsException except) {  
  130.         System.out.println("ERROR: Required parameter missing from " +  
  131.             args[i-1]);  
  132.         return printUsage(); // exits  
  133.       }  
  134.     }  
  135.   
  136.     // Set user-supplied (possibly default) job configs  
  137.     jobConf.setNumReduceTasks(num_reduces);  
  138.   
  139.     jobConf.setInputFormat(inputFormatClass);  
  140.     jobConf.setOutputFormat(outputFormatClass);  
  141.   
  142.     jobConf.setOutputKeyClass(outputKeyClass);  
  143.     jobConf.setOutputValueClass(outputValueClass);  
  144.   
  145.     // Make sure there are exactly 2 parameters left.  
  146.     if (otherArgs.size() != 2) {  
  147.       System.out.println("ERROR: Wrong number of parameters: " +  
  148.           otherArgs.size() + " instead of 2.");  
  149.       return printUsage();  
  150.     }  
  151.     FileInputFormat.setInputPaths(jobConf, otherArgs.get(0));  
  152.     FileOutputFormat.setOutputPath(jobConf, new Path(otherArgs.get(1)));  
  153.   
  154.     if (sampler != null) {  
  155.       System.out.println("Sampling input to effect total-order sort...");  
  156.       jobConf.setPartitionerClass(TotalOrderPartitioner.class);  
  157.       Path inputDir = FileInputFormat.getInputPaths(jobConf)[0];  
  158.       inputDir = inputDir.makeQualified(inputDir.getFileSystem(jobConf));  
  159.       Path partitionFile = new Path(inputDir, "_sortPartitioning");  
  160.       TotalOrderPartitioner.setPartitionFile(jobConf, partitionFile);  
  161.       InputSampler.<K,V>writePartitionFile(jobConf, sampler);  
  162.       URI partitionUri = new URI(partitionFile.toString() +  
  163.                                  "#" + "_sortPartitioning");  
  164.       DistributedCache.addCacheFile(partitionUri, jobConf);  
  165.       DistributedCache.createSymlink(jobConf);  
  166.     }  
  167.   
  168.     System.out.println("Running on " +  
  169.         cluster.getTaskTrackers() +  
  170.         " nodes to sort from " +   
  171.         FileInputFormat.getInputPaths(jobConf)[0] + " into " +  
  172.         FileOutputFormat.getOutputPath(jobConf) +  
  173.         " with " + num_reduces + " reduces.");  
  174.     Date startTime = new Date();  
  175.     System.out.println("Job started: " + startTime);  
  176.     jobResult = JobClient.runJob(jobConf);  
  177.     Date end_time = new Date();  
  178.     System.out.println("Job ended: " + end_time);  
  179.     System.out.println("The job took " +   
  180.         (end_time.getTime() - startTime.getTime()) /1000 + " seconds.");  
  181.     return 0;  
  182.   }  
  183.   
  184. //input attr:/home/hadoop/rand/part-00000 /home/hadoop/rand-sort  
  185.   
  186.   public static void main(String[] args) throws Exception {  
  187.     int res = ToolRunner.run(new Configuration(), new Sort(), args);  
  188.     System.exit(res);  
  189.   }  
  190.   
  191.   /** 
  192.    * Get the last job that was run using this instance. 
  193.    * @return the results of the last job that was run 
  194.    */  
  195.   public RunningJob getResult() {  
  196.     return jobResult;  
  197.   }  
  198. }  

3.2在eclipse中设置参数：

/home/hadoop/rand/part-00000 /home/hadoop/rand-sort

其中/home/hadoop/rand/part-00000 表示输入路径，/home/hadoop/rand-sort表示输出路径

3.3数据来源

我们这里输入参数中的“/home/hadoop/rand/part-00000”是通过hadoop实例 RandomWriter 这个实例得到的。为了节省时间，hadoop实例 RandomWriter 中得到了两个文件，我们这里指使用了一个文件part-00000。如果要对两个文件都进行排序操作，那么输入路径只需要是目录即可。

4总结

本程序目前我测试只能在单机上执行，不能在集群上运行。即指可以run as ->java application，而不能run on hadoop，具体原因还没有找到，如果发现后续会更新本博客。

PS:2011-10-18

运行环境

1. run as java application

console中会输出信息

[cpp]  view plain copy print ?
  1. Running on 1 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 1 reduces.  

2.一个master和一个slave，run on hadoop

console输出信息

[cpp]  view plain copy print ?
  1. Running on 1 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 1 reduces.  
跟第一中情况一样。

3.一台主机即做master又做slave，另外一台单独做slave

console输出信息

[cpp]  view plain copy print ?
  1. 11/10/18 09:24:35 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively  
  2. Running on 2 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 3 reduces.  
  3. Job started: Tue Oct 18 09:24:35 CST 2011  
  4. 11/10/18 09:24:35 INFO mapred.FileInputFormat: Total input paths to process : 1  
  5. 11/10/18 09:24:36 INFO mapred.JobClient: Running job: job_201110180923_0001  
  6. 11/10/18 09:24:37 INFO mapred.JobClient:  map 0% reduce 0%  
  7. 11/10/18 09:24:50 INFO mapred.JobClient:  map 6% reduce 0%  
  8. 11/10/18 09:24:51 INFO mapred.JobClient:  map 18% reduce 0%  
  9. 11/10/18 09:24:53 INFO mapred.JobClient:  map 25% reduce 0%  
  10. 11/10/18 09:24:56 INFO mapred.JobClient:  map 31% reduce 0%  
  11. 11/10/18 09:25:01 INFO mapred.JobClient:  map 43% reduce 0%  
  12. 11/10/18 09:25:02 INFO mapred.JobClient:  map 49% reduce 0%  
  13. 11/10/18 09:25:04 INFO mapred.JobClient:  map 50% reduce 2%  
  14. 11/10/18 09:25:08 INFO mapred.JobClient:  map 56% reduce 4%  
  15. 11/10/18 09:25:09 INFO mapred.JobClient:  map 62% reduce 6%  
  16. 11/10/18 09:25:11 INFO mapred.JobClient:  map 68% reduce 8%  
  17. 11/10/18 09:25:12 INFO mapred.JobClient:  map 75% reduce 8%  
  18. 11/10/18 09:25:14 INFO mapred.JobClient:  map 81% reduce 9%  
  19. 11/10/18 09:25:20 INFO mapred.JobClient:  map 87% reduce 9%  
  20. 11/10/18 09:25:23 INFO mapred.JobClient:  map 93% reduce 12%  
  21. 11/10/18 09:25:26 INFO mapred.JobClient:  map 93% reduce 13%  
  22. 11/10/18 09:25:27 INFO mapred.JobClient:  map 100% reduce 14%  
  23. 11/10/18 09:25:29 INFO mapred.JobClient:  map 100% reduce 15%  
  24. 11/10/18 09:25:35 INFO mapred.JobClient:  map 100% reduce 16%  
  25. 11/10/18 09:25:36 INFO mapred.JobClient:  map 100% reduce 17%  
  26. 11/10/18 09:27:49 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000000_0, Status : FAILED  
  27. Too many fetch-failures  
  28. 11/10/18 09:27:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  29. 11/10/18 09:27:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  30. 11/10/18 09:28:05 INFO mapred.JobClient:  map 100% reduce 18%  
  31. 11/10/18 09:32:51 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000003_0, Status : FAILED  
  32. Too many fetch-failures  
  33. 11/10/18 09:32:55 INFO mapred.JobClient:  map 93% reduce 18%  
  34. 11/10/18 09:32:58 INFO mapred.JobClient:  map 100% reduce 18%  
  35. 11/10/18 09:33:04 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000001_0, Status : FAILED  
  36. Too many fetch-failures  
  37. 11/10/18 09:33:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  38. 11/10/18 09:33:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  39. 11/10/18 09:33:11 INFO mapred.JobClient:  map 100% reduce 19%  
  40. 11/10/18 09:33:20 INFO mapred.JobClient:  map 100% reduce 20%  
  41. 11/10/18 09:38:19 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000005_0, Status : FAILED  
  42. Too many fetch-failures  
  43. 11/10/18 09:38:19 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  44. 11/10/18 09:38:19 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  45. 11/10/18 09:38:23 INFO mapred.JobClient:  map 93% reduce 20%  
  46. 11/10/18 09:38:26 INFO mapred.JobClient:  map 100% reduce 20%  
  47. 11/10/18 09:38:35 INFO mapred.JobClient:  map 100% reduce 21%  
  48. 11/10/18 09:38:41 INFO mapred.JobClient:  map 100% reduce 22%  
  49. 11/10/18 09:43:10 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000002_0, Status : FAILED  
  50. Too many fetch-failures  
  51. 11/10/18 09:43:14 INFO mapred.JobClient:  map 93% reduce 22%  
  52. 11/10/18 09:43:17 INFO mapred.JobClient:  map 100% reduce 22%  
  53. 11/10/18 09:43:35 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000006_0, Status : FAILED  
  54. Too many fetch-failures  
  55. 11/10/18 09:43:35 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  56. 11/10/18 09:43:35 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  57. 11/10/18 09:43:51 INFO mapred.JobClient:  map 100% reduce 24%  
  58. 11/10/18 09:48:50 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000009_0, Status : FAILED  
  59. Too many fetch-failures  
  60. 11/10/18 09:48:50 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  61. 11/10/18 09:48:50 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  62. 11/10/18 09:49:06 INFO mapred.JobClient:  map 100% reduce 25%  
  63. 11/10/18 09:53:21 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000004_0, Status : FAILED  
  64. Too many fetch-failures  
  65. 11/10/18 09:53:25 INFO mapred.JobClient:  map 93% reduce 25%  
  66. 11/10/18 09:53:28 INFO mapred.JobClient:  map 100% reduce 25%  
  67. 11/10/18 09:53:37 INFO mapred.JobClient:  map 100% reduce 26%  
  68. 11/10/18 09:54:05 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000011_0, Status : FAILED  
  69. Too many fetch-failures  
  70. 11/10/18 09:54:05 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  71. 11/10/18 09:54:05 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  72. 11/10/18 09:54:21 INFO mapred.JobClient:  map 100% reduce 27%  
  73. 11/10/18 09:59:20 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000015_0, Status : FAILED  
  74. Too many fetch-failures  
  75. 11/10/18 09:59:20 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  76. 11/10/18 09:59:20 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  77. 11/10/18 09:59:36 INFO mapred.JobClient:  map 100% reduce 52%  
  78. 11/10/18 09:59:42 INFO mapred.JobClient:  map 100% reduce 53%  
  79. 11/10/18 09:59:45 INFO mapred.JobClient:  map 100% reduce 54%  
  80. 11/10/18 09:59:48 INFO mapred.JobClient:  map 100% reduce 55%  
  81. 11/10/18 09:59:51 INFO mapred.JobClient:  map 100% reduce 56%  
  82. 11/10/18 09:59:54 INFO mapred.JobClient:  map 100% reduce 57%  
  83. 11/10/18 09:59:57 INFO mapred.JobClient:  map 100% reduce 58%  
  84. 11/10/18 10:00:00 INFO mapred.JobClient:  map 100% reduce 60%  
  85. 11/10/18 10:00:03 INFO mapred.JobClient:  map 100% reduce 61%  
  86. 11/10/18 10:00:06 INFO mapred.JobClient:  map 100% reduce 62%  
  87. 11/10/18 10:00:09 INFO mapred.JobClient:  map 100% reduce 63%  
  88. 11/10/18 10:00:12 INFO mapred.JobClient:  map 100% reduce 64%  
  89. 11/10/18 10:00:15 INFO mapred.JobClient:  map 100% reduce 65%  
  90. 11/10/18 10:00:18 INFO mapred.JobClient:  map 100% reduce 66%  
  91. 11/10/18 10:00:21 INFO mapred.JobClient:  map 100% reduce 67%  
  92. 11/10/18 10:00:24 INFO mapred.JobClient:  map 100% reduce 68%  
  93. 11/10/18 10:00:27 INFO mapred.JobClient:  map 100% reduce 69%  
  94. 11/10/18 10:00:30 INFO mapred.JobClient:  map 100% reduce 70%  
  95. 11/10/18 10:00:33 INFO mapred.JobClient:  map 100% reduce 71%  
  96. 11/10/18 10:00:36 INFO mapred.JobClient:  map 100% reduce 72%  
  97. 11/10/18 10:00:39 INFO mapred.JobClient:  map 100% reduce 73%  
  98. 11/10/18 10:00:52 INFO mapred.JobClient:  map 100% reduce 75%  
  99. 11/10/18 10:03:41 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000007_0, Status : FAILED  
  100. Too many fetch-failures  
  101. 11/10/18 10:03:45 INFO mapred.JobClient:  map 93% reduce 75%  
  102. 11/10/18 10:03:48 INFO mapred.JobClient:  map 100% reduce 75%  
  103. 11/10/18 10:08:34 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000003_1, Status : FAILED  
  104. Too many fetch-failures  
  105. 11/10/18 10:08:34 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  106. 11/10/18 10:08:34 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  107. 11/10/18 10:08:50 INFO mapred.JobClient:  map 100% reduce 76%  
  108. 11/10/18 10:13:53 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000008_0, Status : FAILED  
  109. Too many fetch-failures  
  110. 11/10/18 10:13:57 INFO mapred.JobClient:  map 93% reduce 76%  
  111. 11/10/18 10:14:00 INFO mapred.JobClient:  map 100% reduce 76%  
  112. 11/10/18 10:18:49 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000002_1, Status : FAILED  
  113. Too many fetch-failures  
  114. 11/10/18 10:18:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  115. 11/10/18 10:18:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  116. 11/10/18 10:19:05 INFO mapred.JobClient:  map 100% reduce 77%  
  117. 11/10/18 10:24:09 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000010_0, Status : FAILED  
  118. Too many fetch-failures  
  119. 11/10/18 10:24:13 INFO mapred.JobClient:  map 93% reduce 77%  
  120. 11/10/18 10:24:16 INFO mapred.JobClient:  map 100% reduce 77%  
  121. 11/10/18 10:29:04 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000004_1, Status : FAILED  
  122. Too many fetch-failures  
  123. 11/10/18 10:29:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  124. 11/10/18 10:29:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  125. 11/10/18 10:29:20 INFO mapred.JobClient:  map 100% reduce 89%  
  126. 11/10/18 10:29:23 INFO mapred.JobClient:  map 100% reduce 91%  
  127. 11/10/18 10:29:26 INFO mapred.JobClient:  map 100% reduce 92%  
  128. 11/10/18 10:29:29 INFO mapred.JobClient:  map 100% reduce 93%  
  129. 11/10/18 10:29:32 INFO mapred.JobClient:  map 100% reduce 94%  
  130. 11/10/18 10:29:35 INFO mapred.JobClient:  map 100% reduce 95%  
  131. 11/10/18 10:29:38 INFO mapred.JobClient:  map 100% reduce 96%  
  132. 11/10/18 10:29:41 INFO mapred.JobClient:  map 100% reduce 97%  
  133. 11/10/18 10:29:44 INFO mapred.JobClient:  map 100% reduce 98%  
  134. 11/10/18 10:29:50 INFO mapred.JobClient:  map 100% reduce 100%  
  135. 11/10/18 10:29:52 INFO mapred.JobClient: Job complete: job_201110180923_0001  
  136. 11/10/18 10:29:52 INFO mapred.JobClient: Counters: 18  
  137. 11/10/18 10:29:52 INFO mapred.JobClient:   Job Counters   
  138. 11/10/18 10:29:52 INFO mapred.JobClient:     Launched reduce tasks=4  
  139. 11/10/18 10:29:52 INFO mapred.JobClient:     Launched map tasks=32  
  140. 11/10/18 10:29:52 INFO mapred.JobClient:     Data-local map tasks=32  
  141. 11/10/18 10:29:52 INFO mapred.JobClient:   FileSystemCounters  
  142. 11/10/18 10:29:52 INFO mapred.JobClient:     FILE_BYTES_READ=1075141899  
  143. 11/10/18 10:29:52 INFO mapred.JobClient:     HDFS_BYTES_READ=1077495458  
  144. 11/10/18 10:29:52 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=2150285276  
  145. 11/10/18 10:29:52 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1077290017  
  146. 11/10/18 10:29:52 INFO mapred.JobClient:   Map-Reduce Framework  
  147. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce input groups=102334  
  148. 11/10/18 10:29:52 INFO mapred.JobClient:     Combine output records=0  
  149. 11/10/18 10:29:52 INFO mapred.JobClient:     Map input records=102334  
  150. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce shuffle bytes=1031027235  
  151. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce output records=102334  
  152. 11/10/18 10:29:52 INFO mapred.JobClient:     Spilled Records=204668  
  153. 11/10/18 10:29:52 INFO mapred.JobClient:     Map output bytes=1074566657  
  154. 11/10/18 10:29:52 INFO mapred.JobClient:     Map input bytes=1077289249  
  155. 11/10/18 10:29:52 INFO mapred.JobClient:     Combine input records=0  
  156. 11/10/18 10:29:52 INFO mapred.JobClient:     Map output records=102334  
  157. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce input records=102334  
  158. Job ended: Tue Oct 18 10:29:52 CST 2011  
  159. The job took 3916 seconds.  
本文转自xwdreamer博客园博客，原文链接：http://www.cnblogs.com/xwdreamer/archive/2011/10/17/2296956.html，如需转载请自行联系原作者
上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/349506

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop核心-HDFS读写流程

HDFS写数据步骤: 1. client发起文件上传请求,通过RPC与NameNode建立连接,NameNode检查目标文件是否已经存在,父目录是否存在,并检查用户是否有相应的权限,若检查通过, 会为该文件创建一个新的记录,否则的话文件创建失败,客户端得到异常信息, 2. client通过请求NameNode,第一个block应该传输到哪些DataNode服务器上; 3. NameNode根据配置文件中指定的备份(replica)数量及机架感知原理进行文件分配,返回可用的DataNode的地址 以三台DataNode为例:A B C 注: Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为:第一个备份放在客户端相同的datanode上(若客户端在集群外运行, 就随机选取一个datanode来存放第一个replica),第二个replica放在与第一个replica不同机架的一个随机datanode上,第三个replica放在与第二个repli ca相同机架的随机datanode上,如果replica数大于三,则随后的replica在集群中随机存放,...
2017-12-29
547
上一篇

Elasticsearch之元数据(meta-fields)介绍

image.png 1. 什么是meta-fields 在Elasticsearch下，一个文档除了有数据之外，它还包含了元数据(Metadata)。每创建一条数据时，都会对元数据进行写入等操作，当然有些元数据是在创建mapping的时候就会设置, 它里面定义了每个添加的doc的处理方式。 类似于数据库的表结构数据。 2. 有哪些meta-fields ES中元数据大体分为五中类型：身份元数据、索引元数据、文档元数据、路由元数据以及其他类型的元数据 2.1. 身份元数据 _index:文档所属索引 , 自动被索引，可被查询，聚合，排序使用，或者脚本里访问 _type：文档所属类型，自动被索引，可被查询，聚合，排序使用，或者脚本里访问 _id：文档的唯一标识， 建索引时候传入 ，不被索引， 可通过_uid被查询，脚本里使用，不能参与聚合或排序 _uid：由_type和_id字段组成，自动被索引 ，可被查询，聚合，排序使用，或者脚本里访问 2.2. 索引元数据 _all： 自动组合所有的字段值，以空格分割，可以指定分器词索引，但是整个值不被存储，所以此字段仅仅能被搜索，不能获取到具体的值 ...
2017-12-29
549
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Jdk25 Nacos3 Kubernetes Service Mesh HarmonyOS6 DeepSeek Gemini3 Rocky OpenAi SpringBoot4 Docker SpringCloud Redis

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册