HBase实操 | 如何使用HBase存储文本文件

1.文档编写目的

Fayson在前面的文章中介绍了《如何在CDH中使用Solr对HDFS中的JSON数据建立全文索引》和《如何使用Flume准实时建立Solr的全文索引》，假如我们有大量的文本文件，我们应该如何保存到Hadoop中，并实现文本文件的全文检索呢。为了介绍如何对文本文件进行全文检索，本文会先介绍如何使用HBase保存文本文件。虽然HDFS中也可以直接保存这种非结构化数据，但是我们知道像这种文本文件，一般都是10KB~1MB的小文件，因为HDFS并不擅长存储大量小文件，所以这里选择HBase来保存。

内容概述

1.文件处理流程

2.准备上传文件的Java代码

3.运行代码

4.Hue中查询验证

测试环境

1.RedHat7.4

2.CM5.14.3

3.CDH5.14.2

4.集群未启用Kerberos

2.文件处理流程

1.如上图所示，Fays