Hbase 学习（七） rowkey设计-低调大师

Hbase 学习（七） rowkey设计

2016-09-07 545 89

一直以来对rowkey的设计都比较迷茫，《hbase权威指南》倒是给出了个还算靠谱的例子。

下面这个例子有点儿像帖子表结构，它的rowkey设计是这样的，可以简单的理解为，什么人在什么时间发了什么信息，信息包括什么附件，它是用户为主线的一个设计。

<userId>-<date>-<messageId>-<attachmentId>

如果我们想查某个用户发的信息，我们可以设置scan的start rowkey 为该userId，end rowkey为userId+1即可。

当我们要查某个用户某天发了什么信息，我们可以使用<userId>-<date>来搜索该用户所有的帖子。

当我们要查某个具体的帖子的内容，rowkey过滤<userId>-<date>-<messageId>即可。

所以rowkey的设计是要看具体的应用的。

上面这个例子没有考虑热点的问题，实际上每个用户的帖子被访问的热度是不一样的，有些帖子被大量访问，有的无人问津。

那怎么办呢？有的书上写，在前面加0-n的随机数，random % 机器数。但是这样子的话，以后你想取某个用户的userId的时候只能开多线程去访问了，因为你不能逆推出来它的rowkey。在和支付宝的工程狮聊了一下，他们是这样处理的取md5(userId)的前4位+reverse(userId)这个样子来处理userId，这样子的话，能解决热点的问题，也可以逆推出来rowkey。

微信关注我们

原文链接：https://yq.aliyun.com/articles/60208

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark Streaming 的玫瑰与刺

前言说人话：其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲，坑则是从实际场景中遇到的一些小细节描述。玫瑰篇玫瑰篇主要是说Spark Streaming的优势点。玫瑰之代码复用这主要得益于Spark的设计，以及平台的全面性。你写的流处理的代码可以很方便的适用于Spark平台上的批处理，交互式处理。因为他们本身都是基于RDD模型的，并且Spark Streaming的设计者也做了比较好的封装和兼容。所以我说RDD是个很强大的框，能把各种场景都给框住，这就是高度抽象和思考后的结果。玫瑰之机器学习如果你使用Spark MLlib 做模型训练。恭喜你，首先是很多算法已经支持Spark Streaming，譬如k-means 就支持流式数据更新模型。其次，你也可以在Spark Streaming中直接将离线计算好的模型load进来，然后对新进来的数据做实时的Predict操作。玫瑰之SQL支持 Spark Streaming 里天然就可以使用 sql/dataframe/datasets 等。而且时间窗口的使用可以极大扩展这种使用场景，譬如各种系统...

596

Spark 动态资源分配(Dynamic Resource Allocation) 解析

前言最近在使用Spark Streaming程序时，发现如下几个问题：高峰和低峰Spark Streaming每个周期要处理的数据量相差三倍以上,预分配资源会导致低峰的时候资源的大量浪费。 Spark Streaming 跑的数量多了后，资源占用相当可观。所以便有了要开发一套针对Spark Streaming 动态资源调整的想法。我在文章最后一个章节给出了一个可能的设计方案。不过要做这件事情，首先我们需要了解现有的Spark 已经实现的 Dynamic Resource Allocation 机制，以及为什么它无法满足现有的需求。入口在SparkContext 中可以看到这一行： _executorAllocationManager = if (dynamicAllocationEnabled) { Some(new ExecutorAllocationManager(this, listenerBus, _conf)) } else { None } 通过spark.dynamicAllocation.enabled参数开启后就会启动ExecutorAllocationMa...

644

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。