HBase实战 | 从MySQL到HBase：数据存储方案转型的演进-低调大师

HBase实战 | 从MySQL到HBase：数据存储方案转型的演进

2018-12-05 663

作者介绍

杨宏志，知乎首页架构负责人，主要负责首页工程化建设、工程架构优化、性能提升等工作。知乎专栏：https://zhuanlan.zhihu.com/c_195355141

本文转载自dbaplus社群(ID：dbaplus)

本文大致会从以下几个方面入手，谈谈笔者对数据存储方案选型的看法：

从MySQL到HBase集群化方案的演化
MySQL与HBase的性能取舍
不同方案的优化思路
总结

一.集群化方案

1.MySQL应用的演化
MySQL与HBase说到最核心的点，是一种数据存储方案。方案本身没有对错、没有好坏，只有合适与否。相信多数公司都与MySQL有着不解之缘，部分学校的课程甚至直接以SQL语言作为数据库讲解。我想借自身经历，先来谈谈MySQL应用的演化。

只有MySQL

笔者之前曾在一家O2O创业公司工作，公司所有数据都存储在同一个M

微信关注我们

原文链接：https://yq.aliyun.com/articles/675271

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase内部结构

之前有一篇文章已经大概的说了一下HBase的基本的概念和内部的一些构成的意思,比如表啊,列族啊之类的,这一篇再简单的说一下HBase的架构数据模型从大到小 namespace表空间:类似RDBMS中的库概念,当你想把一组表去统一的管理的时候可以使用得到,这种抽象为即将推出的多租户相关功能奠定了基础配额管理:限制命名空间可以使用的资源量（即区域，表）。命名空间安全管理:为租户提供另一级别的安全管理。区域服务器组:可以将命名空间/表固定到RegionServers的子集上，从而保证粗略的隔离级别 table表:就是有一个或者多个列族组成,加上之前的代码使用,这个表概念应该很熟了 row行:一个行包括了多个列,这些列通过列族来分类 column family列族:列族是多个列的集合,HBase会尽量的将一个列族的列放入同一个服务器内,这样可以提高存取性能,并且可以批量管理有关联的一堆列,所有的数据属性都是定义在列族上的. column qualifier列:多个列组成一行 cell:一个列中可以存储多个版本的数据,每个版本就成为一个单元格cell timestamp:标识cell的版...

2018-12-06

543

在处理计费类问题前，请先仔细阅读计量计费说明。 Q：为什么SQL查询不同的分区，费用差异比较大？ A：通常是由于费用较多的分区size比较大。您可以使用desc table_name partition(pt_spec)命令查看具体分区大小。 Q：在运行补数据后，费用为什么会产生较大波动？ A：当您操作补数据时，会在补数据区间内每个周期都运行一次。例如您补30天的数据，天周期，则SQL被执行了30次，因此产生较大的费用。注意：如果是补了一个区间的数据任务，在第一天有一个任务实例失败了。则当天的补数据实例会被置为失败，第二天的任务实例也不会开始运行（只有当天的全部任务实例都成功，第二天的任务实例才会开始运行）。 Q：把调度周期天改成小时后，为什么费用变多了？ A：调度周期改为小时后，每小时运行SQL任务，运行次数增加，所以费用比天调度多。 Q：运

2018-12-06

585

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。