BDS - HBase数据迁移同步方案的设计与实践-低调大师

BDS - HBase数据迁移同步方案的设计与实践

2019-06-09 670

概览

BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。

架构

BDS采用分布式的架构，由BDSMaster节点生成、调度任务给各个BDSWorker节点
BDSWorker节点负责具体的任务执行，是无状态的，方便扩容、升级
Reader 和 Writer 插件化，支持跨版本，异构数据源的迁移和实时数据同步

历史数据迁移方案

对于历史存量数据的迁移，我们是通过拷贝文件的方式，将数据文件拷贝到目标集群，然后统一对文件进行Bulkload，将数据装载到目标表中

迁移流程：

客户提交历史数据迁移的任务
BDSMaster获取原表的Region分区情况，针对每一个Re

微信关注我们

原文链接：https://yq.aliyun.com/articles/704977

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

BDS-HBase集群之间数据迁移同步的利器

BDS定位 BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出，从而方便云上客户围绕HBase构建高可用、灵活的业务系统使用场景 BDS在云上目前主要有以下几个使用场景新旧集群无缝迁移在线离线业务分离主备容灾 RDS实时数据同步到HBase、Phoenix 新旧集群无缝迁移使用范围 HBase大版本升级， 1.x 升级 2.x 集群配置升级集群网络的切换，经典切换VPC 异地跨机房迁移业务拆分业务流程在线离线业务分离业务架构通过BDS，将在线业务数据实时同步到离线集群，结合Spark、MR等大数据组件进

2019-06-10

991

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。本文内容根据演讲视频以及PPT整理而成。大家好，我是门德亮，现在在优酷数据中台做数据相关的事情。很荣幸，我正好见证了优酷从没有MaxCompute到有的这样一个历程，因为刚刚好我就是入职优酷差不多5年的时间，我们正好是在快到5年的时候，去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程，上面是计算资源，下面是储存资源。大家可以看到整个用户数，还有表的数据，实际上是在呈一个指数式增长的。但是在2017年5月，当优酷完成了整个Hadoop迁移MaxCompute后，优酷的计算消耗，还有储存的消耗实际上是呈下降趋势的，整个迁移得到了一个非常大的收益。下面说一

2019-06-11

590

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。