您现在的位置是:首页 > 文章详情
云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据
日期:2018-04-15点击:622收藏
概述
使用过开源HBase的人都知道,运维HBase是多么复杂的事情,集群大的时候,读写压力大,配置稍微不合理一点,就可能会出现集群状态不一致的情况,糟糕一点的直接导致入库、查询某个业务表不可用, 甚至集群运行不了。在早期0.9x版本的时候,HBase的修复工具还有一下bug,使得即使你懂得如何修复的情况下,依然需要多次重复运行命令,绕过那些不合理的修复逻辑,甚至有时候需要自己写代码预先修复某个步骤。
背景
上周五,某公司使用的某DataHup 大数据产品自建一个HBase集群挂了!整个集群有30+T 业务数据,是公司的数据中心,集群直接启动不了。他们也是经历了熬战一天一夜的情况下,依旧没有解决恢复,还曾有过重装集群重导数据念头。最后,通过钉钉HBase技术交流群找到群主——阿里云HBase的封神。随后其立即下达命令,临
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
Elasticsearch 备忘
排序 { "size": 10, "query": { "bool": { "must": [ { "term": { "request_uri":"/blog_expand/get_article_expand" } } ] } }, "sort": [ { "request_time": { "order": "desc" } } ] }
-
下一篇
云HBase集群的规划
概述 在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题,希望能说清楚 基本架构 目前云HBase的基本架构为:从架构图中,可以看出Master是主备的,且不存任何业务数据的;core节点至少2台,第一个节点为了节约节点,部署了一个zk,Core节点可以一直添加到100或者500个节点左右。 Master节点选择 Master节点的规格:2cpu4g起步,主要看集群的规格。参考以下的配置 core的规模 master选择 <=4台 2cpu4g 4台 4cpu8g 10 8cpu16g 20 16cpu32g 50 16cpu64g Core节点选择 core阶段选择:4cpu8g起步,最大32cpu128g以1KB为准: QPS core的个数及选择 0 ~ 1w 2台 4cpu8g 1w ~ 10w >=2
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
扫描即可查看该文章
点击排行
推荐阅读
最新文章
- 2048小游戏-低调大师作品
- Dcoker安装(在线仓库),最新的服务器搭配容器使用
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- MySQL数据库中FOR UPDATE的使用
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合Redis,开启缓存,提高访问速度

微信收款码
支付宝收款码