如何使用MaxCompute Spark读写阿里云Hbase

2020-05-26 567

背景

Spark on MaxCompute可以访问位于阿里云VPC内的实例（例如ECS、HBase、RDS）,默认MaxCompute底层网络和外网是隔离的，Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.list来访问阿里云的vpc网络环境的Hbase。Hbase标准版和增强版的配置不同，本文通过访问阿里云的标准版和增强版的Hbase简单的描述需要加的配置。

Hbase标准版

环境准备
Hbase的网络环境是存在vpc下的，所以我们首先要添加安全组开放端口2181、10600、16020.同时Hbase有白名单限制我们需要把对应的MaxCompute的IP加入到Hbase的白名单。
设置对应vpc的安全组

找到对应的vpc id然后添加安全组设置端口

添加Hb

微信关注我们

原文链接：https://yq.aliyun.com/articles/762724

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【从入门到放弃-Kubernetes】Kubernetes入门-部署SpringBoot

前言在上文【从入门到放弃-Kubernetes】Kubernetes入门-部署MySQL中，我们学习了如何部署MySQL，本文我们将基于上文中的内容，学习如何部署SpringBoot应用，并调用我们部署好的MySQL服务。 SpringBoot镜像准备我们可以参考前面【从入门到放弃-Kubernetes】Kubernetes入门-应用部署中构建代码镜像的方式。有区别的地方是nodejs中的server.js源码可以直接运行，而java需要多一步编译打包的动作。你也可以直接用我打好的镜像：registry.cn-hangzhou.aliyuncs.com/larswang/springboot-demo:2.0，跳过这一步，直接看后面的【部署服务】章节。准备源码首先需要有SpringBoot项目源代码，这里使用的是我的一个demo。里面只做了简单的对MySQL数据库增删改查的动作，并对外提供了http操作接口，方便我们验证。源码在：https://github.com/AloofJr/springboot-demo 打包我们知道SpringBoot都是以fat jar的方...

2020-05-28

702

好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式)，接下来，我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种，我们一一来了解一下：单节点上的本地模式(独立模式) ：Local（Standalone）Mode单节点的伪分布模式：Pseudo-Distributed Mode多节点的安全分布式集群模式：Fully-Distributed Cluster1 本地模式介绍1.1 特点：运行在单台机器上，没有分布式思想，使用的是本地文件系统 1.2. 用途用于对MapReduce程序的逻辑进行调试，确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 2 平台软件说明操作系统: win10/win7 虚拟软件: VMware14 虚拟机: CentOS_7.7_64_master192.168.10.200 软件包存储路径: /opt/software/ 软件安装路径: /opt/apps/ Jdk: jdk-8u221-linux-x64.tar.gz Hadoop: hadoop-2.7.6...

2020-05-28

519

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

如何使用MaxCompute Spark读写阿里云Hbase

背景

Hbase标准版

【从入门到放弃-Kubernetes】Kubernetes入门-部署SpringBoot

好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式)

相关文章

发表评论

资源下载

优质分享App

Spring

Rocky Linux

Sublime Text

欢迎您来访！