hbase的四种压缩格式-低调大师

hbase的四种压缩格式

2017-11-26 687

Hbase支持的压缩格式：

hbase支持的压缩格式：GZ（GZIP）,LZ0，LZ4，Snappy

GZ:用于冷数据压缩，与Snappy和LZ0相比，GZIP的压缩率更高，但是更消耗CPU，解压/压缩速度更慢。

Snappy和LZ0：用于热数据压缩，占用CPU少，解压/压缩速度比GZ快，但是压缩率不如GZ高。

Snappy与LZ0相比，Snappy整体性能优于LZ0，Snappy压缩率比LZ0更低，但是解压/压缩速度更快。

LZ4与LZ0相比，LZ4的压缩率和LZ0的压缩率相差不多，但是LZ4的解压/压缩速度更快。

多数情况下，选择Snppy或LZ0是比较好的选择，因为它们的压缩开销底，能节省空间。

建表时指定压缩格式

 
  
    
      
      
        hbase(main):013:0> create 
        'test3'
        ,{NAME=>
        'f1'
        },{NAME=>
        'f2'
        ,COMPRESSION=>
        'Snappy'
        } 
       
 
        0 row(s) 
        in 
        1.2740 seconds 
       
 
          
       

        => Hbase::Table - test3
       
 
        hbase(main):014:0> desc 
        'test3' 
       

        Table test3 is ENABLED                                                                                                                                             
       

        test3                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                            
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                         
       
 
        2 row(s) 
        in 
        0.0300 seconds 
       

         
       
 
        hbase(main):002:0> create 
        'test4' 
        ,{NAME=>
        'f1'
        },{NAME=>
        'f2'
        ,COMPRESSION=>
        'GZ'
        } 
       
 
        0 row(s) 
        in 
        1.4900 seconds 
       

         
       

        => Hbase::Table - test4
       
 
        hbase(main):003:0> desc 
        'test4' 
       

        Table test4 is ENABLED                                                                                                                                              
       

        test4                                                                                                                                                               
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                         
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                            
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'GZ'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                              
       
 
        2 row(s) 
        in 
        0.1290 seconds 
       
 
    

   
 

建表后修改columnfamily压缩格式

正确做法是先disable表，再修改列族压缩格式，enbale表后做major_compact操作。

如下：

 
  
    
      
      
        hbase(main):004:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                             
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0230 seconds 
       
 
          
       
 
        hbase(main):005:0> disable 
        'test1' 
       
 
        0 row(s) 
        in 
        2.2870 seconds 
       
 
          
       
 
        hbase(main):006:0> alter 
        'test1' 
        ,{NAME=>
        'f1'
        ,COMPRESSION=>
        'Snappy'
        } 
       

        Updating all regions with the new schema...
       
 
        1
        /1 
        regions updated. 
       

        Done.
       
 
        0 row(s) 
        in 
        1.9510 seconds 
       
 
          
       
 
        hbase(main):007:0> 
        enable 
        'test1' 
       
 
        0 row(s) 
        in 
        1.2820 seconds 
       
 
          
       
 
        hbase(main):008:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                              
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                          
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0310 seconds 
       
 
          
       
 
        hbase(main):009:0> major_compact 
        'test1' 
       
 
        0 row(s) 
        in 
        0.1380 seconds 
       
 
          
       
 
        hbase(main):010:0> desc 
        'test1' 
       

        Table test1 is ENABLED                                                                                                                                             
       

        test1                                                                                                                                                              
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'f1'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'SNAPPY'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                         
       
 
        {NAME => 
        'f2'
        , BLOOMFILTER => 
        'ROW'
        ,VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        ,DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRESS 
       
 
        ION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        2 row(s) 
        in 
        0.0260 seconds 
       
 
    

   
 

但是没有disable表，也不做major_compact，列族压缩格式也修改成功了（暂时不知道原因）。

 
  
    
      
      
        hbase(main):001:0> desc 
        'test' 
       
 
        Table 
        test 
        is ENABLED                                                                                                                                                
       
 
        test                                                                                                                                                                
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                         
       
 
        {NAME => 
        'fam1'
        , BLOOMFILTER => 
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS => 
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRE 
       
 
        SSION => 
        'NONE'
        , MIN_VERSIONS => 
        '0'
        , BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE => 
        '0'
        }                                                          
       
 
        1 row(s) 
        in 
        0.3680 seconds 
       

         
       
 
        hbase(main):002:0> alter 
        'test'
        ,{NAME=>
        'fam1'
        ,COMPRESSION=>
        'LZ4'
        } 
       

        Updating all regions with the new schema...
       
 
        1
        /1 
        regions updated. 
       

        Done.
       
 
        0 row(s) 
        in 
        2.0460 seconds 
       

         
       
 
        hbase(main):003:0> desc 
        'test' 
       
 
        Table 
        test 
        is ENABLED                                                                                                                                                
       
 
        test                                                                                                                                                               
       

        COLUMN FAMILIES DESCRIPTION                                                                                                                                        
       
 
        {NAME => 
        'fam1'
        , BLOOMFILTER =>
        'ROW'
        , VERSIONS => 
        '1'
        , IN_MEMORY => 
        'false'
        , KEEP_DELETED_CELLS =>
        'FALSE'
        , DATA_BLOCK_ENCODING => 
        'NONE'
        , TTL => 
        'FOREVER'
        , COMPRE 
       
 
        SSION => 
        'LZ4'
        , MIN_VERSIONS => 
        '0'
        ,BLOCKCACHE => 
        'true'
        , BLOCKSIZE => 
        '65536'
        , REPLICATION_SCOPE =>
        '0'
        }                                                           
       
 
        1 row(s) 
        in 
        0.0280 seconds 
       
 
    

   
 

本文转自天黑顺路 51CTO博客，原文链接：http://blog.51cto.com/mjal01/1963644，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/522179

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive命令

hive show tables; create table hive_test(name string); LOAD DATA LOCAL INPATH '/home/hadoop/input/test3.txt' overwrite INTO TABLE hive_test; select * from hive_test; drop table hive_test; show tables; cat a.txt 1,h 2,i 3,v 4,e hive> create table a(id int,name string) > row format delimited fields terminated by ','; hive> load data local inpath '/root/桌面/Test/wc-in/a.txt' into table a; hive> select * from a; 在Hive内使用dfs命令 hive> dfs -ls /usr/hive/warehouse/a; hive> dfs -c...

2017-11-26

624

history查询历史命令

history 命令用于查询已执行的历史命令。常用参数： n ：数字，表示列出最近n行命令 -c ：将目前的shell中的所有的history内容删除 -a：将目前新增的history命令新增入histfile中，若没有加hisfiles，则默认写入~/.bash_history -r：将histfiles的内容读到目前这个shell 的history记忆中。 -w：将目前的history记忆内容写入histfiles中。查看所有history记忆中的命令： 1 2 3 4 5 6 7 8 [root@abcdefghijklmnopqrstuvwxyzabcdefghijkl123456789012~] #history 1 df -h 2reboot 3 ssh esggy-qa-n013 4yum install nfs-utils 5yum install parted 6yum install nfs-utils … 查看history的最后6条命令： 1 2 3 4 5 6 7 [root@abcdefghijklmnopqrstuvwxyzabcdefghijk...

2017-11-26

760

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。