HBase伪快速分页查询
之前有两个功能，都是查询历史数据的一个分页查询，系统刚上线的时候，没有太多的数据，就一直扔在mysql里面，后来里面数据上亿之后，就查不到了，而且数据还在以指数级增长方式上报，后来，这部分业务单独迁移到hbase集群去存放，之前页面的查询也改查hbase了。但是hbase对分页查询这种东西支持不好，如果按照以往查询mysql的思路，查询出一个总的count,再查询出这一页的数据，这种方式去查询hbase,那么如果你仔细去跟代码计算时间的话，你会发现hbase去查count,无论哪种方式，都会引起全表扫描，是非常慢的。整个页面加载出来，看了下响应事件，大概要45s,等的我都喝了两杯茶了。
so,我想了个比较伪的分页查询方法，去掉查询count操作，值查询一页数据：
public Page<BatteryData> findBatterHisData(BatteryHisDto dto)throws Exception {
Page<BatteryData> dataPage=new Page<BatteryData>();
List<BatteryData> dataList=new ArrayList<>();
int totalSize=0;
Table table=runner.getTable(tableName);
Scan dataScan=new Scan();
ResultScanner dataScanner=null;
List<Filter> dataFilters = new ArrayList<Filter>();
if(StringUtils.isNotBlank(dto.getBatteryNo())){//电池组编号过滤
Filter filter=new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator(dto.getBatteryNo()+"_"));
dataFilters.add(filter);
}
Filter pageFilter=new PageFilter(dto.getPage()+dto.getPageSize());
dataFilters.add(pageFilter);
FilterList dataFilterList = new FilterList(FilterList.Operator.MUST_PASS_ALL, dataFilters);
dataScan.setFilter(dataFilterList);
dataScanner=table.getScanner(dataScan);
dataList= rsh.handle(tableName,dataScanner);
if(dataList==null || dataList.size()<1){
dataPage.setTotalCount(0);
dataPage.setResult(null);
return dataPage;
}
int startNo = dto.getPage();
int endNo=startNo+dto.getPageSize();
dataPage.setTotalCount(dto.getPage()+dto.getPageSize()+1);
dataPage.setResult(dataList.subList(startNo,endNo));
table.close();
return dataPage;
}
因为用户关注的，通常是前几页的数据，所有我每次查询的时候，返回总页数，都返回个随便的数（跟前端的分页表格配合，实际上，我的前端只提供了上下分页，哈哈），然后查询有限条的数据，通常hbase表都是上亿甚至是百亿的，所以，用户时不太可能通过只点击上一页下一页，这样点到我最后一页的，可以放心了。最多他点个几千页，也就手疼到不行了。这样下来，响应速度控制在800ms内，无压力。
PS，看到很多网友通过rowkey去做分页，具体思路是，每次记录下起始的rowkey和结束的rowkey,然后根据rowkey搜索，这样也是很快的，个人认为，也ok。
