HBase TB级数据规模不停机迁移最佳实践-低调大师

HBase TB级数据规模不停机迁移最佳实践

2019-07-17 798

背景

有关HBase集群如何做不停服的数据迁移一直都是云HBase被问的比较多的一个问题，目前有许多开源的工具或者HBase本身集成的方案在性能、稳定性、使用体验上都不是很好，因此阿里云提供了BDS迁移服务，可以帮助云上客户实现TB级数据规模不停机迁移

支持场景

HBase大版本升级， 1.x升级2.x
集群配置升级，8核16G升级为16核32G
集群网络环境变更，经典网络迁移到VPC
异地跨机房迁移
HBase业务拆分

方案介绍

开源方案

HBase不停机迁移主要包括三个部分：表结构的迁移、实时数据同步、历史全量数据迁移

表结构迁移

对于表结构迁移来说，开源的DataX还是HBase本身都不提供表结构迁移的功能，只能进行手动建表，手动建表会存在几个问题：

如果源集群表数据较多，客户手动建表比较麻烦
手动建表可能忽略表分区，导致目标表分区很不合理，迁移完之后

微信关注我们

原文链接：https://yq.aliyun.com/articles/709857

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

5年时间，我从开发做到总裁的秘籍--如何提升技术型管理者的领导力 | 7月17号云栖夜读

点击订阅云栖夜读日刊，专业的技术干货，不容错过！阿里专家原创好文 1.5年时间，我从开发做到总裁的秘籍--如何提升技术型管理者的领导力对于深耕技术的一线开发者而言，大多数都希望把技术工作进行到底，或者一直从事和技术技术相关性更高的工作。但随着年龄和经验的增长，我对管理和技术的思考越来越多、越来越深入，和大多数人一样，站在这个路口——到底继续做技术还是转型做管理——我也经历抉择，但现在回想看来，似乎在这条路上也没有选择。阅读更多》》 2.闲鱼无障碍是怎么在端侧实现的 Hi，小伙伴们还记得之前刷屏的“闲鱼为1700万人，打造了一条盲道”的文章吗？在今年4月，闲鱼和深圳市信息无障碍研究会取得了联系。在沟通过程中，我们了解到在移动互联网时代，视障人士同样可以通过手机，享受到互联网带来的便利。闲鱼作为目前国内最大的闲置交易平台，为了更好地服务用户，在无障碍研究会的视障工程师团队的支持下，在现有基础上，先后进行了Android、iOS版本的无障碍支持。闲鱼在Flutter&Native混合工程下，如何进行的无障碍优化？在日常版本迭代频繁情况下，是怎么有效地保持稳定支持无障碍功能？本文为...

2019-07-17

604

微服务流行，我也是越来越喜欢MongoDB了，除非必要要用MySQL，我都会倾向于MongoDB。 MongoDB 什么是MongoDB ? MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。 value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。" title="MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。" data-original="https://raw.githubusercontent.com/fengwenyi/erwin-learn-note/master/images/...

2019-07-19

699

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。