BDS-HBase集群之间数据迁移同步的利器-低调大师

BDS-HBase集群之间数据迁移同步的利器

2019-06-09 974

BDS定位

BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出，从而方便云上客户围绕HBase构建高可用、灵活的业务系统

使用场景

BDS在云上目前主要有以下几个使用场景

新旧集群无缝迁移
在线离线业务分离
主备容灾
RDS实时数据同步到HBase、Phoenix

新旧集群无缝迁移

使用范围

HBase大版本升级， 1.x 升级 2.x
集群配置升级
集群网络的切换，经典切换VPC
异地跨机房迁移
业务拆分

业务流程

在线离线业务分离

业务架构

通过BDS，将在线业务数据实时同步到离线集群，结合Spark、MR等大数据组件进

微信关注我们

原文链接：https://yq.aliyun.com/articles/704972

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

EMR学习笔记（1）HDFS

EMR HDFS Architecture 本文以非HA集群，2个worker的集群为例。非HA集群，仅有一个Namenode实例，部署在Master节点。Namenode主要职责：-管理文件系统namespace，包括但不仅限于：开、关文件，文件改名，目录操作等。-管控客户端对文件的访问 EMR hadoop集群，每个Worker节点仅部署一个Datanode实例。Datanode主要职责：-管理所在节点挂载的存储-提供给客户端读写服务-block创建、删除以及replication 登录EMR集群实现基本运维在较新的集群版本中（3.2 以上版本），所有的服务操作都可以通过集群的配置管理功能来完成。推荐优先使用 Web 页面的管理方式。若您觉得在网页上的作业和执行计划无法满足您更加复杂的应用需求，您可以登录到 E-MapReduce 集群的主机上。找到集群的详情页，其中就有集群 master 机器的公网 IP 地址，您可以直接 SSH 登录到这台机器上，查看各种设置与状态。登录 Master 主机步骤使用如下命令 SSH 登录到 master 主机。请在集群详情页的主机信息...

2019-06-08

672

概览 BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。架构 BDS采用分布式的架构，由BDSMaster节点生成、调度任务给各个BDSWorker节点 BDSWorker节点负责具体的任务执行，是无状态的，方便扩容、升级 Reader 和 Writer 插件化，支持跨版本，异构数据源的迁移和实时数据同步历史数据迁移方案对于历史存量数据的迁移，我们是通过拷贝文件的方式，将数据文件拷贝到目标集群，然后统一对文件进行Bulkload，将数据装载到目标表中迁移流程：客户提交历史数据迁移的任务 BDSMaster获取原表的Region分区情况，针对每一个Re

2019-06-10

652

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。