阿里 Hbase的优化策略(上)-低调大师

阿里 Hbase的优化策略(上)

2018-02-19 577

社区开源的做法

常见的HBASE的问题是GC的问题

社区里做的BucketCache MemSore

原生的memstore是跳跃列表

插入的复杂度很高

查询的复杂度很高

是基于ConcurrentSkipListMap实现

但是ConcurrentSkipListMap的MemSore也有很多问题！

（1）新老索引的跨代引用，在做youngGC的时候还会扫描Old这样很好效率极低

（2）内存会越来越大，要维护的SKIPLIST索引的对象也会越来越多，然后会造成内存碎片

（3）数据长度不规则也会造成内存碎片

（4）索引对象本身也需要些内存

阿里的优化策略

阿里主要是做了云Hbase的MEMSTORE.

他的优化方面包括了

索引对象&数据内存空间高度聚合使之CPU的缓存效率高了很多
无碎片对GC友好、从而避免了Full GC的问题
节约了内存、加大了吞吐量
节约了YUONGGC的时间
阿里优化的MEMSTORE的原理是什么样的呢？

其实也是基于数组实现的SKIPLIST

每次去申请连续的CHURK内存（1个默认为2M的byte[]）
Node的节点NEXT、KEYVALUE的所有信息全部放在chuck上
一些信息被压缩成若干个bit，然后再放入Hbase里

加强版的bucket cache

原生的bucket cache ,通过复制解决多个任务引用同一个Block；需要格外的拷贝开销
云HBase bucket cache 是通过基于引用计数实现Block 的智能指针

微信关注我们

原文链接：https://yq.aliyun.com/articles/480656

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive metastore表结构设计分析

今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。那么我们从hive metastore的表结构设计开始：看到后，是不是有一种想死的冲动？没错，我也想死，但是我们可以一点一点的看，也会有理解错误，但这都是在我们通向精通的路途之上，不是么？那么我们围绕着几个核心主表进行分析。　 1、DBS 表Columns:DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE DBS表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DATABASE_PARAMS、以及TBLS的外键。一般来说，在hive meta初始化时都会自动创建一个名叫default的库，随后通过业务发展以及数据治理等需求，可进行不同业务域库的划分。 FU...

2018-02-19

507

集群前先计划虚拟机，看文章大数据||Hadoop分布式部署虚拟机基于伪分布式环境安装进行展开规划机器与服务（） HDFS 文件系统 YARN “云操作系统” JobHistoryServer 历史服务监控修改配置文件，设置服务运行机器节点（）分发HADOOP安装包至各个机器节点依据官方集群安装文档，分别启动各节点相应服务测试 HDFS 、YARN、 MapReduce ，Web UI 监控集群（）配置主节点至各从节点 SSH 无密钥登陆集群基准测试（实际环境必须的，面试题）系统基本环境配置规划机器与服务 copy 伪分布模式步骤 image.png 配置hdfs 配置jdk。配置hdfs的nameNode地址配置hadoop数据存储目录及垃圾回收时间创建hadoop数据存储目录 mkdir -p /opt/app/hadoop-2.5.0/data/tmp 配置secondaryNameNode vi /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml 配置集群 slaves vi /opt/app/hadoop-2....

2018-02-22

558

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。