Spark on MaxCompute读写阿里云的Hbase

2020-05-26 627

背景

Spark on MaxCompute可以访问位于阿里云VPC内的实例（例如ECS、HBase、RDS）,默认MaxCompute底层网络和外网是隔离的，Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.list来访问阿里云的vpc网络环境的Hbase。Hbase标准版和增强版的配置不同，本文通过访问阿里云的标准版和增强版的Hbase简单的描述需要加的配置。

Hbase标准版

环境准备
Hbase的网络环境是存在vpc下的，所以我们首先要添加安全组开放端口2181、10600、16020.同时Hbase有白名单限制我们需要把对应的MaxCompute的IP加入到Hbase的白名单。
设置对应vpc的安全组

找到对应的vpc id然后添加安全组设置端口

添加Hb

微信关注我们

原文链接：https://yq.aliyun.com/articles/762724

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase2 使用协处理器删除指定qualifier的全部数据

用户画像的场景中，通常会开发很多标签，每个标签作为一个qualifier，其中有一些不再使用后需要下线，但hbase提供的delete相关api都只能针对单行，要清理某个qualifier的全部数据不太容易，这里提供一个基于协处理器的实现方案； hbase对于compact过程提供了以下5个hook可以嵌入自定义代码: preCompactSelection postCompactSelection preCompactScannerOpen preCompact postCompact 而preCompact会在创建了storeScanner之后读取数据之前调用，因此这里的思路就是对scanner进行代理，创建一个新的scanner实现其next方法，进而对读取到的原始数据进行加工；代码如下，参考了hbase-examples模块中的ValueRewritingObserver类： public class QualifierDeletingObserver implements RegionObserver, RegionCoprocessor { private static ...

2020-05-27

597

作者介绍李猛，Elastic Stack深度用户，通过Elastic工程师认证，2012年接触Elasticsearch，对Elastic Stack技术栈开发、架构、运维等方面有深入体验，实践过多种大中型项目；为企业提供Elastic Stack咨询培训以及调优实施；多年实战经验，爱捣腾各种技术产品，擅长大数据，机器学习，系统架构。名词解释 DB：database，泛指关系型数据库，具有严格事务隔离机制的数据类库产品，如 mysql、sqlserver、postgresql、oracle、db2 等，db-engine 综合排名前面的全部是关系型数据库； ES：Elasticsearch，最好的开源搜索引擎产品，NoSQL 非关系型数据库，不具备严格事务隔离机制，当前 db-engine 综合排名第七；应用：本文泛指业务应用系统，是

2020-05-28

658

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Spark on MaxCompute读写阿里云的Hbase

背景

Hbase标准版

HBase2 使用协处理器删除指定qualifier的全部数据

DB 与 Elasticsearch 混合之应用系统场景分析探讨

相关文章

发表评论

资源下载

Nacos

Spring

Rocky Linux

Sublime Text

欢迎您来访！