Spark on MaxCompute读写阿里云的Hbase

2020-05-26 614

背景

Spark on MaxCompute可以访问位于阿里云VPC内的实例（例如ECS、HBase、RDS）,默认MaxCompute底层网络和外网是隔离的，Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.list来访问阿里云的vpc网络环境的Hbase。Hbase标准版和增强版的配置不同，本文通过访问阿里云的标准版和增强版的Hbase简单的描述需要加的配置。

Hbase标准版

环境准备
Hbase的网络环境是存在vpc下的，所以我们首先要添加安全组开放端口2181、10600、16020.同时Hbase有白名单限制我们需要把对应的MaxCompute的IP加入到Hbase的白名单。
设置对应vpc的安全组

找到对应的vpc id然后添加安全组设置端口

添加Hb

微信关注我们

原文链接：https://yq.aliyun.com/articles/762724

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase2 使用协处理器删除指定qualifier的全部数据

用户画像的场景中，通常会开发很多标签，每个标签作为一个qualifier，其中有一些不再使用后需要下线，但hbase提供的delete相关api都只能针对单行，要清理某个qualifier的全部数据不太容易，这里提供一个基于协处理器的实现方案； hbase对于compact过程提供了以下5个hook可以嵌入自定义代码: preCompactSelection postCompactSelection preCompactScannerOpen preCompact postCompact 而preCompact会在创建了storeScanner之后读取数据之前调用，因此这里的思路就是对scanner进行代理，创建一个新的scanner实现其next方法，进而对读取到的原始数据进行加工；代码如下，参考了hbase-examples模块中的ValueRewritingObserver类： public class QualifierDeletingObserver implements RegionObserver, RegionCoprocessor { private static ...

2020-05-27

586

作者介绍李猛，Elastic Stack深度用户，通过Elastic工程师认证，2012年接触Elasticsearch，对Elastic Stack技术栈开发、架构、运维等方面有深入体验，实践过多种大中型项目；为企业提供Elastic Stack咨询培训以及调优实施；多年实战经验，爱捣腾各种技术产品，擅长大数据，机器学习，系统架构。名词解释 DB：database，泛指关系型数据库，具有严格事务隔离机制的数据类库产品，如 mysql、sqlserver、postgresql、oracle、db2 等，db-engine 综合排名前面的全部是关系型数据库； ES：Elasticsearch，最好的开源搜索引擎产品，NoSQL 非关系型数据库，不具备严格事务隔离机制，当前 db-engine 综合排名第七；应用：本文泛指业务应用系统，是

2020-05-28

648

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Spark on MaxCompute读写阿里云的Hbase

背景

Hbase标准版

HBase2 使用协处理器删除指定qualifier的全部数据

DB 与 Elasticsearch 混合之应用系统场景分析探讨

相关文章

发表评论

资源下载

Mario

Oracle

JDK

Sublime Text

欢迎您！