读者来信 | 设置HBase TTL必须先disable表吗?(已解决)
今日有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。如遇到本人能力有限难以解决的问题,该贴将会被转发至我的资源圈寻求大佬们出手帮助,并附上提问者微信二维码。也欢迎大家在留言区积极探讨解决方案~
来信人:黄*伟
小猿提问
如果我用Spark处理文件写进HBase,文件按日期每天增量下发,如果只想在HBase中保留最近90天的文件数据,有什么好的方法吗?TTL会有禁用表操作,后端查询就会报错。除了TTL,还有别的解决方案吗?
小猿分析
该问题主要的症结点在于:建表之初,没有及时给列族设置TTL,入数据之后想到可以设置表的TTL属性来保证数据时效性但又不想禁用表。怎么办呢?
小猿解答
这里,小猿给出两条解决方案:
方案一:
其实在稍微高一点的HBase版本,设置表TTL属性已经可以在线进行,不需要disable表了。如果不确定,可以先建一个测试表在线设置一下TTL试一试。如果支持,那可以选择在低峰期通过HBase Shell手动修改列族的时效性,一劳永逸。
hbase(main):030:0> create 'test','f1' 0 row(s) in 1.2990 seconds => Hbase::Table - test hbase(main):031:0> desc 'test' Table test is ENABLED test COLUMN FAMILIES DESCRIPTION {NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} 1 row(s) in 0.0480 seconds hbase(main):032:0> alter 'test',{NAME => 'f1',TTL => '86400'} Updating all regions with the new schema... 1/1 regions updated. Done. 0 row(s) in 1.9870 seconds
单位:秒(s)
方案二:
如果方案1行不通,可以尝试通过API的方式,在插入数据时实时设置单条数据TTL。只不过历史数据就要手动删除了。
Put put = new Put(Bytes.toBytes("row1")); put.setTTL(86400L);
单位:秒(s)
知识点补充
如果想重置TTL为'FOREVER'怎么做?
答:HBase TTL 最大值为INT最大值 2147483647,只需将TTL设为该整数即可。
hbase(main):033:0> alter 'test',{NAME => 'f1',TTL => '2147483647'} Updating all regions with the new schema... 1/1 regions updated. Done. 0 row(s) in 1.9170 seconds hbase(main):034:0> desc 'test' Table test is ENABLED test COLUMN FAMILIES DESCRIPTION {NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} 1 row(s) in 0.0140 seconds
如果您有更好的答案,欢迎留言区留言哦~
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
读者来信 | 刚搭完HBase集群,Phoenix一启动,HBase就全崩了,是什么原因?(已解决)
前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。如遇到本人能力有限难以解决的问题,我将转发该文至我的资源圈尽力寻求大佬们出手帮助,并附上提问者微信二维码,希望给大家提供这样一个互帮互助解决问题的平台。也诚挚地欢迎大家能在留言区积极探讨解决方案,大胆发表自己的看法~ 来信人:于*超 小猿提问 刚搭完HBase集群,Phoenix一启动,HBase的Region节点就全崩溃了,是什么原因? 小猿分析 报错如下: java.sql.SQLException: ERROR 2006 (INT08): Incompatible jars detected between client and server. Ensure that phoenix.jar is put on the classpath of HBase in every region server: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No ...
- 下一篇
YouTube玩转的自动字幕,为什么被国内视频网站“主动错过”?
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 成为中国YouTube,这估计是每一家国内视频网站都曾经设想过的目标。 现在,无论是从全球市场规模、还是从营收规模上来说,YouTube都已经是一个庞然大物。而在国内,至今已难以找到一家能够与YouTube实力相当,甚至说模式相似的视频网站了。 差异是如何产生的,已经成为一个可以写成商业专著的选题了。而这一次我们则关心一个更为细节的产品技术问题,那就是在YouTube上早已实现的自动字幕功能,为何没有在国内的主流的视频网站上出现? 据报道,在2017年初,以UGC起家的YouTube已经为10亿条视频提供了自动添加字幕的服务,使用者每天的播放次数超过 1500 万次,而且目前已支持全球10种语言的自动字幕加载,以及支持包括简体中文在内的上百种语言的机器翻译。 那么这一自动字幕的功能为何没有被我们国内的视频网站“Copy”? 也许你第一反应会想到技术原因。也是也不全是。毕竟近几年,我国在自动语言识别上面的技术早已成熟,在视频网站上应用也许早已不成问题。 “是不为也,非不能也。”如果孟老夫子...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker快速安装Oracle11G,搭建oracle11g学习环境