Hadoop 简介
Hadoop的发音是 [‘hædu:p]。 Apache的发音是 [æpæʃ]。 Hadoop是Apache基金会的一个开源项目,用于大量数据的分布式处理。核心为HDFS与MapReduce。 1.HDFS HDFS,Hadoop Distributed File System,Hadoop分布式文件系统。 2.map-reduce思想 mapper将大任务化为小任务,分布式并行计算。中间结果传给reducer,作归约整理,得到最终结果。 3.相关类 3.1配置 void org.apache.hadoop.mapred.JobConf. setOutputKeyClass(Class<?> theClass) void org.apache.hadoop.mapred.JobConf. setOutputValueClass(Class<?> theClass) void org.apache.hadoop.mapred.JobConf. setMapperClass(Class<? extends Mapper> theClass) void o...