BDS-HBase集群之间数据迁移同步的利器-低调大师

BDS-HBase集群之间数据迁移同步的利器

2019-06-09 992

BDS定位

BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出，从而方便云上客户围绕HBase构建高可用、灵活的业务系统

使用场景

BDS在云上目前主要有以下几个使用场景

新旧集群无缝迁移
在线离线业务分离
主备容灾
RDS实时数据同步到HBase、Phoenix

新旧集群无缝迁移

使用范围

HBase大版本升级， 1.x 升级 2.x
集群配置升级
集群网络的切换，经典切换VPC
异地跨机房迁移
业务拆分

业务流程

在线离线业务分离

业务架构

通过BDS，将在线业务数据实时同步到离线集群，结合Spark、MR等大数据组件进

微信关注我们

原文链接：https://yq.aliyun.com/articles/704972

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

EMR学习笔记（1）HDFS

EMR HDFS Architecture 本文以非HA集群，2个worker的集群为例。非HA集群，仅有一个Namenode实例，部署在Master节点。Namenode主要职责：-管理文件系统namespace，包括但不仅限于：开、关文件，文件改名，目录操作等。-管控客户端对文件的访问 EMR hadoop集群，每个Worker节点仅部署一个Datanode实例。Datanode主要职责：-管理所在节点挂载的存储-提供给客户端读写服务-block创建、删除以及replication 登录EMR集群实现基本运维在较新的集群版本中（3.2 以上版本），所有的服务操作都可以通过集群的配置管理功能来完成。推荐优先使用 Web 页面的管理方式。若您觉得在网页上的作业和执行计划无法满足您更加复杂的应用需求，您可以登录到 E-MapReduce 集群的主机上。找到集群的详情页，其中就有集群 master 机器的公网 IP 地址，您可以直接 SSH 登录到这台机器上，查看各种设置与状态。登录 Master 主机步骤使用如下命令 SSH 登录到 master 主机。请在集群详情页的主机信息...

2019-06-08

688

概览 BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。架构 BDS采用分布式的架构，由BDSMaster节点生成、调度任务给各个BDSWorker节点 BDSWorker节点负责具体的任务执行，是无状态的，方便扩容、升级 Reader 和 Writer 插件化，支持跨版本，异构数据源的迁移和实时数据同步历史数据迁移方案对于历史存量数据的迁移，我们是通过拷贝文件的方式，将数据文件拷贝到目标集群，然后统一对文件进行Bulkload，将数据装载到目标表中迁移流程：客户提交历史数据迁移的任务 BDSMaster获取原表的Region分区情况，针对每一个Re

2019-06-10

670

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。