hbase的四种压缩格式-低调大师

hbase的四种压缩格式

2017-11-26 621

Hbase支持的压缩格式：

hbase支持的压缩格式：GZ（GZIP）,LZ0，LZ4，Snappy

GZ:用于冷数据压缩，与Snappy和LZ0相比，GZIP的压缩率更高，但是更消耗CPU，解压/压缩速度更慢。

Snappy和LZ0：用于热数据压缩，占用CPU少，解压/压缩速度比GZ快，但是压缩率不如GZ高。

Snappy与LZ0相比，Snappy整体性能优于LZ0，Snappy压缩率比LZ0更低，但是解压/压缩速度更快。

LZ4与LZ0相比，LZ4的压缩率和LZ0的压缩率相差不多，但是LZ4的解压/压缩速度更快。

多数情况下，选择Snppy或LZ0是比较好的选择，因为它们的压缩开销底，能节省空间。

建表时指定压缩格式

 
  
    
      
      
        hbase(main):013:0> create 
        'test3'
        ,{NAME=>
        'f1'
        },{NAME=>
        'f2'
        ,COMPRESSION=>
        'Snappy'
        } 
       
 
        0 row(s) 
        in 
        1.2740 seconds 
       
 
          
       

        => Hbase::Table - test3
       
 
        hbase(main):014:0> desc 
        'test3' 
       

        Table test3 is ENABLED                                                                                                                                             
       

        test3                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                            
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                         
       
 
        2 row(s) 
        in 
        0.0300 seconds 
       

         
       
 
        hbase(main):002:0> create 
        'test4' 
        ,{NAME=>
        'f1'
        },{NAME=>
        'f2'
        ,COMPRESSION=>
        'GZ'
        } 
       
 
        0 row(s) 
        in 
        1.4900 seconds 
       

         
       

        => Hbase::Table - test4
       
 
        hbase(main):003:0> desc 
        'test4' 
       

        Table test4 is ENABLED                                                                                                                                              
       

        test4                                                                                                                                                               
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                         
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                            
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'GZ'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                              
       
 
        2 row(s) 
        in 
        0.1290 seconds 
       
 
    

   
 

建表后修改columnfamily压缩格式

正确做法是先disable表，再修改列族压缩格式，enbale表后做major_compact操作。

如下：

 
  
    
      
      
        hbase(main):004:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                             
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0230 seconds 
       
 
          
       
 
        hbase(main):005:0> disable 
        'test1' 
       
 
        0 row(s) 
        in 
        2.2870 seconds 
       
 
          
       
 
        hbase(main):006:0> alter 
        'test1' 
        ,{NAME=>
        'f1'
        ,COMPRESSION=>
        'Snappy'
        } 
       

        Updating all regions with the new schema...
       
 
        1
        /1 
        regions updated. 
       

        Done.
       
 
        0 row(s) 
        in 
        1.9510 seconds 
       
 
          
       
 
        hbase(main):007:0> 
        enable 
        'test1' 
       
 
        0 row(s) 
        in 
        1.2820 seconds 
       
 
          
       
 
        hbase(main):008:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                              
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                          
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0310 seconds 
       
 
          
       
 
        hbase(main):009:0> major_compact 
        'test1' 
       
 
        0 row(s) 
        in 
        0.1380 seconds 
       
 
          
       
 
        hbase(main):010:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                             
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                         
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0260 seconds 
       
 
    

   
 

但是没有disable表，也不做major_compact，列族压缩格式也修改成功了（暂时不知道原因）。

 
  
    
      
      
        hbase(main):001:0> desc 
        'test' 
       
 
        Table 
        test 
        is ENABLED                                                                                                                                                
       
 
        test                                                                                                                                                                
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                         
       
 
        {NAME => 
        'fam1'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRE 
       
 
        SSION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                          
       
 
        1 row(s) 
        in 
        0.3680 seconds 
       

         
       
 
        hbase(main):002:0> alter 
        'test'
        ,{NAME=>
        'fam1'
        ,COMPRESSION=>
        'LZ4'
        } 
       

        Updating all regions with the new schema...
       
 
        1
        /1 
        regions updated. 
       

        Done.
       
 
        0 row(s) 
        in 
        2.0460 seconds 
       

         
       
 
        hbase(main):003:0> desc 
        'test' 
       
 
        Table 
        test 
        is ENABLED                                                                                                                                                
       
 
        test                                                                                                                                                               
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'fam1'
        , BLOOMFILTER =>
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS =>
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRE 
       
 
        SSION => 
        'LZ4'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        1 row(s) 
        in 
        0.0280 seconds 
       
 
    

   
 

本文转自天黑顺路 51CTO博客，原文链接：http://blog.51cto.com/mjal01/1963644，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/522179

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive命令

hive show tables; create table hive_test(name string); LOAD DATA LOCAL INPATH '/home/hadoop/input/test3.txt' overwrite INTO TABLE hive_test; select * from hive_test; drop table hive_test; show tables; cat a.txt 1,h 2,i 3,v 4,e hive> create table a(id int,name string) > row format delimited fields terminated by ','; hive> load data local inpath '/root/桌面/Test/wc-in/a.txt' into table a; hive> select * from a; 在Hive内使用dfs命令 hive> dfs -ls /usr/hive/warehouse/a; hive> dfs -c...

2017-11-27

558

history查询历史命令

history 命令用于查询已执行的历史命令。常用参数： n ：数字，表示列出最近n行命令 -c ：将目前的shell中的所有的history内容删除 -a：将目前新增的history命令新增入histfile中，若没有加hisfiles，则默认写入~/.bash_history -r：将histfiles的内容读到目前这个shell 的history记忆中。 -w：将目前的history记忆内容写入histfiles中。查看所有history记忆中的命令： 1 2 3 4 5 6 7 8 [root@abcdefghijklmnopqrstuvwxyzabcdefghijkl123456789012~] #history 1 df -h 2reboot 3 ssh esggy-qa-n013 4yum install nfs-utils 5yum install parted 6yum install nfs-utils … 查看history的最后6条命令： 1 2 3 4 5 6 7 [root@abcdefghijklmnopqrstuvwxyzabcdefghijk...

2017-11-27

694

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。