Hbase 学习（四） hbase客户端设置缓存优化查询-低调大师

Hbase 学习（四） hbase客户端设置缓存优化查询

2016-09-07 659

我们在用hbase的api对hbase进行scan操作的时候，可以设置caching和batch来提交查询效率，那它们之间的关系是啥样的呢，我们又应该如何去设置?

首先是我们的 客户端代码。

2d3a443972231ae376daf74be6ee96a3d77bbfad

当caching和batch都为1的时候，我们要返回10行具有20列的记录，就要进行201次RPC，因为每一列都作为一个单独的Result来返回，这样是我们不可以接受的。

93f4d01165593ba7039f1ca70e73e8ce84ae56b3

下面展示的是当batch=3，caching=6时候的图，是一次RPCs的传递的数据。

5aedab7618fd5d321c8c933d6218d87632abe6cb

接着我们继续看下图

c3f569abc4fd273ba12382e3405c14ab6a07dd3a

一次查询20条记录的话，只需要3次RPCs，列数在10列以内的数据，取20条，20/10即可，为什么是3呢，因为还有一次RPC是用来确认的。

有个公式RPCs = (Rows * Cols per Row) / Min(Cols per Row, Batch Size)/ Scanner Caching 。

这就好说啦，这样我们就可以用来优化我们的scan查询了，在查询的时候，按照查询的列数动态设置batch，如果全查，则根据自己所有的表的大小设置一个折中的数值，caching就和分页的值一样就行。

微信关注我们

原文链接：https://yq.aliyun.com/articles/60195

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark UI (基于Yarn) 分析与定制

前言有时候我们希望能对Spark UI进行一些定制化增强。并且我们希望尽可能不更改Spark的源码。为了达到此目标，我们会从如下三个方面进行阐述：理解Spark UI的处理流程现有Executors页面分析自己编写一个HelloWord页面 Spark UI 处理流程 Spark UI 在SparkContext 对象中进行初始化，对应的代码： _ui = if (conf.getBoolean("spark.ui.enabled", true)) { Some(SparkUI.createLiveUI(this, _conf, listenerBus, _jobProgressListener, _env.securityManager, appName, startTime = startTime)) } else { // For tests, do not enable the UI None }// Bind the UI before starting the task scheduler to communicate // the bound port to th...

2016-09-07

697

前言监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。 ListenerBus 是如何工作的 Spark的事件体系是如何工作的呢？我们先简要描述下，让大家有个大概的了解。首先，大部分类都会引入一个对象叫listenerBus，这个类具体是什么得看实现，但是都一定继承自org.apache.spark.util.ListenerBus. 假设我们要提交一个任务集。这个动作可能会很多人关心，我就是使用listenerBus把Event发出去，类似下面的第二行代码。 def submitJobSet(jobSet: JobSet) { listenerBus.post(StreamingListenerBatchSubmitted(jobSet.toBatchInfo)) jobSet.jobs.foreach(job => jobExecutor.execute(new JobHandler(job))) logInfo("...

2016-09-07

642

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。