如何使用MaxCompute Spark读写阿里云Hbase
背景
Spark on MaxCompute可以访问位于阿里云VPC内的实例(例如ECS、HBase、RDS),默认MaxCompute底层网络和外网是隔离的,Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.list来访问阿里云的vpc网络环境的Hbase。Hbase标准版和增强版的配置不同,本文通过访问阿里云的标准版和增强版的Hbase简单的描述需要加的配置。
Hbase标准版
环境准备
Hbase的网络环境是存在vpc下的,所以我们首先要添加安全组开放端口2181、10600、16020.同时Hbase有白名单限制我们需要把对应的MaxCompute的IP加入到Hbase的白名单。
设置对应vpc的安全组
找到对应的vpc id然后添加安全组设置端口
添加Hb

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【从入门到放弃-Kubernetes】Kubernetes入门-部署SpringBoot
前言 在上文【从入门到放弃-Kubernetes】Kubernetes入门-部署MySQL中,我们学习了如何部署MySQL,本文我们将基于上文中的内容,学习如何部署SpringBoot应用,并调用我们部署好的MySQL服务。 SpringBoot镜像准备 我们可以参考前面【从入门到放弃-Kubernetes】Kubernetes入门-应用部署中构建代码镜像的方式。 有区别的地方是nodejs中的server.js源码可以直接运行,而java需要多一步编译打包的动作。 你也可以直接用我打好的镜像:registry.cn-hangzhou.aliyuncs.com/larswang/springboot-demo:2.0,跳过这一步,直接看后面的【部署服务】章节。 准备源码 首先需要有SpringBoot项目源代码,这里使用的是我的一个demo。里面只做了简单的对MySQL数据库增删改查的动作,并对外提供了http操作接口,方便我们验证。 源码在:https://github.com/AloofJr/springboot-demo 打包 我们知道SpringBoot都是以fat jar的方...
- 下一篇
好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式)
好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式),接下来,我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种,我们一一来了解一下: 单节点上的本地模式(独立模式) :Local(Standalone)Mode单节点的伪分布模式:Pseudo-Distributed Mode多节点的安全分布式集群模式:Fully-Distributed Cluster1 本地模式介绍1.1 特点: 运行在单台机器上,没有分布式思想,使用的是本地文件系统 1.2. 用途 用于对MapReduce程序的逻辑进行调试,确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。 2 平台软件说明 操作系统: win10/win7 虚拟软件: VMware14 虚拟机: CentOS_7.7_64_master192.168.10.200 软件包存储路径: /opt/software/ 软件安装路径: /opt/apps/ Jdk: jdk-8u221-linux-x64.tar.gz Hadoop: hadoop-2.7.6...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- 2048小游戏-低调大师作品