HBase原理及实践（原创）-低调大师

HBase原理及实践（原创）

2018-08-07 638

参考思维导图：

https://share.mindmanager.com/#publish/GGoEmfYUxb79itlAfvo3_9AlD_pCKmtrqUU3xFDq

微信关注我们

原文链接：https://yq.aliyun.com/articles/653923

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OpenTSDB 生产应用与思考

作者：陈杰，欢聚时代YY基础架构部，数据库技术组，专注于HBase、Kafka，MySQL等技术。 OpenTSDB官方介绍 http://opentsdb.net/overview.html 这里就不翻译了。 OpenTSDB应用场景与数据量级现在的时间序列数据库不仅仅可以提供原始数据的查询，而且要支持对原始数据的聚合能力，支持过滤、过滤之后的聚合计算，这些功能OpenTSDB都有。架构设计也好，中间件也好，还是数据库，在实际生产场景中，都绕不开数据量级的考虑。OpenTSDB在数据量小时是可用的，在千万级、亿级中提取几万条数据，比如某个指标半年内的5分钟级别的数据，还是很快响应的。但如果再提取多点数据，几十万，百万这样的量级，又或者提取后再做个聚合运算，OpenTSDB就勉为其难啦，原因有几点：【1】OpenTSDB目前还是单点做聚合运算，我所知道的大的云商如阿里云HiTSDB、数据库在这点做了改造，解决了这个瓶颈。【2】这样的量级数据从HBase中提取到单节点内存中进行聚合运算，在资源消耗方面不可忽视。【3】一个查询一旦提取的量级大，OpenTSDB向H...

2018-08-07

575

一、RAID技术大数据技术主要针对的是大规模数据的计算处理问题，那么要想解决的这一问题，首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：数据存储容量的问题，既然大数据要解决的是数以PB计的数据计算问题，而一般的服务器磁盘容量通常1-2TB，那么如何存储这么大规模的数据？数据读写速度的问题，一般磁盘的连续读写速度为几十MB，以这样的速度，几十PB的数据恐怕要读写到天荒地老……数据可靠性的问题，磁盘大约是计算机设备中最易损坏的硬件了，在网站一块磁盘使用寿命大概是一年，如果磁盘损坏了，数据怎么办？在大数据技术出现之前，人们就需要面对这些关于存储的问题，对应的解决方案就是RAID技术。 RAID（独立磁盘冗余阵列）技术主要是为了改善磁盘的存储容量、读写速度，增强磁盘的可用性和容错能力。目前服务器级别的计算机都支持插入多块磁盘（8块或者更多），通过使用RAID技术，实现数据在多块磁盘上的并发读写和数据备份。常用RAID技术有以下几种，如图所示：常用RAID技术原理图假设服务器有N块磁盘： RAID0数据在从内存缓冲区写入磁盘时，根据磁盘数量将数据分成N...

2018-08-08

520

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。