处理hadoop发送的文件到后台并解析存储到数据库策略

处理hadoop发送的文件到后台并解析存储到数据库策略

 

 

 

主要实现 ：首先 hadoop  mapreduce  处理好的 文件，一个个 放到指定的文件 目录下 ，然后 通过 在Linux 下 通过定时任务 打包 发到   web 服务器的 指定 目录下 ，然后web 服务器  会 通过定时任务  去解析 它 ，然后，存储导数据库。

 

1.上篇 介绍了 文件 的 解压 ，通过解压后 文件 会形成 多个 文件 。



 如图 ，解压 后 ，我们 会 发现 有 很多 文件 ，然后 我们该 去 对每个文件 读取 内容 并 存到数据库中。

 

 

 

 2. map 为所有文件 解析类

      dataMap  所 有 数据 类   所有文件的 数据都存储到datamap 中了

 

for (File subfile : subFiles){ AbstractFileParser ifp = map.get(subfile.getName()); if (ifp != null) { try { ifp = ifp.getClass().newInstance(); ifp.init(subfile, (StatMap) dataMap.get(subfile.getName())); jobList.add(ifp); ifp.start(); } catch (Exception e) { e.printStackTrace(); } } } for (Thread ifp : jobList) { try { ifp.join(); } catch (InterruptedException e) { e.printStackTrace(); } }

  

 

 AbstractFileParser 类

BufferedReader bufferedReader = null; try { bufferedReader = new BufferedReader(new FileReader(this.file)); String s = null; while ((s = bufferedReader.readLine()) != null) { if (isDebug || logger.isDebugEnabled()) logger.debug(s); String[] ss = s.split(","); StatBase o = parseLine(ss); if (o != null) { StatBase b = null; synchronized (map) { b = map.get(o.getPrivateKey()); if (b == null) { map.put(o.getPrivateKey(), o); } else { update(o, b); } } } } } catch (Exception e) { logger.error("", e); } finally { if (bufferedReader != null) try { bufferedReader.close(); } catch (IOException e) { } }

 

 保存到 datamap 中的 数据 要进行 数据库保存

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。 当然，有钱捧个钱场（右上角的爱心标志，支持支付宝和PayPal捐助），没钱捧个人场，谢谢各位。

 
 
 谢谢您的赞助，我会做的更好！