HBase查询优化——持续更新

2017-08-01 646

Scan:setBatch,setCaching,setCacheBlocks

public void setBatch(int batch)
public void setCaching(int caching)
public void setCacheBlocks(boolean cacheBlocks)

setBatch:为设置获取记录的列个数，默认无限制，也就是返回所有的列
setCaching:每次从服务器端读取的行数，默认为配置文件中设置的值

 <property>
    <name>hbase.client.scanner.caching</name>
    <value>100</value>
  </property>

setCacheBlocks:是否缓存块，默认缓存，我们分内存，缓存和磁盘，三种方式，一般数据的读取为内存->缓存->磁盘，当为非热点数据，不需要缓存

设置示例:

 dataScan.setCacheBlocks(false);//禁用缓存块
dataScan.setBatch(19);//设置获取记录的列个数,默认都返回
 dataScan.setCaching(500);//太大了占用内存，太少了rpc太多

微信关注我们

原文链接：https://yq.aliyun.com/articles/240619

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop设置任务执行队列及优先级

Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH; set tez.queue.name=cmbi; ---- 设置引擎 sethive.execution.engine=mr; sethive.execution.engine=spark; sethive.execution.engine=tez; ---- Pig设置方法： SET mapreduce.job.queuename root.up; SET mapreduce.job.priority HIGH; MapReduce设置方法： Hadoopjar app.jar -D mapreduce.job.queuename=root.up -D mapreduce.job.priority=HIGH 本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/p/6958946.html，如需转载请自行联系原作者。

2017-08-02

895

做作业的过程中发现，把一节点停掉，dfsadmin和50070都无法马上感知到一个data node已经死掉 HDFS默认的超时时间为10分钟+30秒。这里暂且定义超时时间为timeout 计算公式为： timeout= 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认的大小为3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒 <property> <name>heartbeat.recheck.interval</name> <...

2017-08-03

732

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

HBase查询优化——持续更新

Scan:setBatch,setCaching,setCacheBlocks

Hadoop设置任务执行队列及优先级

hadoop入门之设置datanode的心跳时间的方法

相关文章

发表评论

资源下载

优质分享App

Mario

Spring

Rocky Linux

欢迎您来访！