HBase协处理器加载的三种方式
本文主要给大家罗列了HBase协处理器加载的三种方式:Shell加载(动态)、Api加载(动态)、配置文件加载(静态)。其中静态加载方式需要重启HBase。
我们假设我们已经有一个现成的需要加载的协处理器Jar包:HelloCoprocessor-0.0.1.jar。
协处理器加载的三种方式
Shell加载
1. 上传HDFS
将打包好的HelloCoprocessor-0.0.1.jar上传服务器,然后放到HDFS上。
# 切换hadoop用户,创建演示目录 $ hdfs dfs -mkdir /usr/hbase/coprocessor $ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor
2. Shell 加载协处理器
我们假设其协处理器类的包名为:
org.myname.hbase.Coprocessor.RegionObserverExample
Shell 操作如下:
hbase> disable 'mytable' # 禁用表,可选 hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2' hbase> enable 'mytable' # 禁用表后启用表,可选
结构如下:
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'
解释下上面各个参数:
①:协处理器Jar包路径,要保证所有的RegionServer可读取到。也可以是本地路径,不过建议是放在HDFS上。
②:协处理器的完整类名。
③:协处理器优先级,整数表示。可以为空。
④:传递给协处理器的参数,可以为空。
注:各参数间不要有空格。
3. 验证是否加载协处理器
hbase> desc 'mytable' Table mytable is ENABLE mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}
此验证不保证协处理器能正常工作:shell命令既不保证特定位置存在jar文件,也不验证给定类是否实际包含在jar文件中。
4. 卸载协处理器
hbase> disable 'mytable' # 禁用表,可选 hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1' hbase> enable 'mytable' # 禁用表后启用表,可选
坑:在没有重启HBase情况下,如果修改协处理器代码并重新加载协处理器,请重命名协处理器Jar包的名字,否则不会生效。(由于当前JVM引用了现有的协处理器,因此必须通过重新启动RegionServer来重新启动JVM,以便替换它。)
Api 加载
具体方法是调用HtableDescriptor的addCoprocessor方法。该方法有两个重载方法:
- addCoprocessor(String className)
- addCoprocessor(className,jarPath,priority,kvs)
第二个重载方法提供了上述Shell中所需的各个参数①②③④,方法一则需要用户手动将jar包分发到各个RegionServer的lib目录下。
示例代码如下:
TableName tableName = TableName.valueOf("mytable"); Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar"); Configuration conf = HBaseConfiguration.create(); Connection connection = ConnectionFactory.createConnection(conf); Admin admin = connection.getAdmin(); admin.disableTable(tableName); HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName); HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1"); columnFamily1.setMaxVersions(1); hTableDescriptor.addFamily(columnFamily1); HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2"); columnFamily2.setMaxVersions(3); hTableDescriptor.addFamily(columnFamily2); hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path, Coprocessor.PRIORITY_USER, null); admin.modifyTable(tableName, hTableDescriptor); admin.enableTable(tableName);
重新加载表定义,无需使用addCoprocessor()方法设置协处理器的值。这将删除附加到表的任何协处理器。
配置文件加载
1. 修改配置文件:hbase-site.xml,配置项如下:
1.1 RegionObservers/Endpoints
<property> <name>hbase.coprocessor.region.classes</name> <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> </property>
1.2 WALObservers
<property> <name>hbase.coprocessor.wal.classes</name> <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> </property>
1.3 MasterObservers
<property> <name>hbase.coprocessor.master.classes</name> <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> </property>
如果想同时配置多个协处理器,可以用逗号分隔多个协处理器的类名。
2. 添加Jar包
将您的代码放在HBase的类路径上。一种简单的方法是将jar(包含代码和所有依赖项)放入HBase的安装目录lib/中。
3. 重启HBase生效。
4. 静态卸载
- 从hbase-site.xml中删除协处理器的元素,包括子元素。
- 重启HBase。
- 从类路径或HBase的lib/目录中删除协处理器的JAR文件。(可选)
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
读者来信 | 如何判断HBase Major Compact是否执行完毕?(已解决)
前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》,扫描文末二维码解锁更多姿势! 来信人:罗*铭 小猿提问 如何判断HBase Major Compact是否执行完毕? 小猿解答 这里提供两种查看方式: 一种是HBase WebUI 界面; 另外一种是HBase Shell命令行 。我们下面看一下。 1. HBase WebUI 点击Web首页Compactions按钮查看每一个RS Compact完成情况;点击ServerName进入RS Web页后点击Compaction Metrics可查看该RS上每一个Region Compact 完成情况。 2. HBase Shell 通过Shell方式查看同WebUI查看大同小异,只不过没有将这些指标可视化而已。如果有兴趣,可以自己采集这些指标做一个漂亮的监控界面~ 通过命令 status 'simple' 可查看HBase RS级别的一些指标,其中 compactionProgressPct=...
- 下一篇
全方位认识HBase:一个值得拥有的NoSQL数据库(一)
前言:说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突然萌生了一个生趣的想法,想抛开技术的视角,从情感的角度,像写小说一样,写写这位老朋友,这可能会有点滑稽吧,不过我觉得很放松。《全方位认识HBase:一个值得拥有的NoSQL数据库》:从今天起,我们就暂且认为这是一本小说的名字吧!哈哈~ 其实我特别想做的一件事情,就是想让更多的人来认识并使用HBase这门地地道道的大数据栈技术,当然不为别的,主要原因还是HBase真的很棒很热,自己用着感觉真的好,不好的产品我怎么会推荐给你呢?毕竟HBase这家伙不会给我一分钱的广告费~ 那首先,我想给大家分享的内容就是:在我刚接触HBase这位老朋友的时候根本不想去看的一些觉得没用的东西。什么呢?其实就是特别无聊又深奥的好像还不得不问的灵魂三问:我是谁?我从哪里来?我要到哪里去? 为什么想写写这个呢?真的好无聊啊~ 当然肯定不是我太无聊了,说实话,是因为对它真的有感情了,所以就想把它的前世今生全都介绍给你,可...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- 设置Eclipse缩进为4个空格,增强代码规范
- Mario游戏-低调大师作品
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16