HBase查询优化——持续更新

2017-08-01 602

Scan:setBatch,setCaching,setCacheBlocks

public void setBatch(int batch)
public void setCaching(int caching)
public void setCacheBlocks(boolean cacheBlocks)

setBatch:为设置获取记录的列个数，默认无限制，也就是返回所有的列
setCaching:每次从服务器端读取的行数，默认为配置文件中设置的值

 <property>
    <name>hbase.client.scanner.caching</name>
    <value>100</value>
  </property>

setCacheBlocks:是否缓存块，默认缓存，我们分内存，缓存和磁盘，三种方式，一般数据的读取为内存->缓存->磁盘，当为非热点数据，不需要缓存

设置示例:

 dataScan.setCacheBlocks(false);//禁用缓存块
dataScan.setBatch(19);//设置获取记录的列个数,默认都返回
 dataScan.setCaching(500);//太大了占用内存，太少了rpc太多

微信关注我们

原文链接：https://yq.aliyun.com/articles/240619

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop设置任务执行队列及优先级

Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH; set tez.queue.name=cmbi; ---- 设置引擎 sethive.execution.engine=mr; sethive.execution.engine=spark; sethive.execution.engine=tez; ---- Pig设置方法： SET mapreduce.job.queuename root.up; SET mapreduce.job.priority HIGH; MapReduce设置方法： Hadoopjar app.jar -D mapreduce.job.queuename=root.up -D mapreduce.job.priority=HIGH 本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/p/6958946.html，如需转载请自行联系原作者。

2017-08-02

862

做作业的过程中发现，把一节点停掉，dfsadmin和50070都无法马上感知到一个data node已经死掉 HDFS默认的超时时间为10分钟+30秒。这里暂且定义超时时间为timeout 计算公式为： timeout= 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认的大小为3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒 <property> <name>heartbeat.recheck.interval</name> <...

2017-08-03

687

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

HBase查询优化——持续更新

Scan:setBatch,setCaching,setCacheBlocks

Hadoop设置任务执行队列及优先级

hadoop入门之设置datanode的心跳时间的方法

相关文章

发表评论

资源下载

腾讯云软件源

Nacos

Spring

Sublime Text

欢迎您！