MapReduce InputFormat——DBInputFormat
一、背景 为了方便MapReduce直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过 DBInputFormat类把数据库表数据读入到HDFS,根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 二、技术细节 1、DBInputFormat(Mysql为例),先创建表: CREATE TABLE studentinfo ( id INTEGER NOT NULL PRIMARY KEY, name VARCHAR(32) NOT NULL); 2、由于0.20版本对DBInputFormat和DBOutputFormat支持不是很好,该例用了0.19版本来说明这两个类的用法。 3、DBInputFormat用法如下: [java] view plain copy publicclassDBInput{ //DROPTABLEIFEXISTS`hadoop`.`studentinfo`; //CREATETABLEstudentinfo( //idINTEGERNO...