Redis 10亿数据量只需要100MB内存，为什么这么牛？-低调大师

Redis 10亿数据量只需要100MB内存，为什么这么牛？

2020-04-23 733

云栖号资讯：【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！

本文主要和大家分享一下redis的高级特性：bit位操作。
本文redis试验代码基于如下环境：
操作系统：Mac OS 64位
版本：Redis 5.0.7 64 bit
运行模式：standalone mode

redis位操作

reids位操作也叫位数组操作、bitmap，它提供了SETBIT、GETBIT、BITCOUNT、BITTOP四个命令用于操作二进制位数组。
先来看一波基本操作示例：

SETBIT
语法：SETBIT key offset value
即：命令 key 偏移量 0/1
setbit命令用于写入位数组指定偏移量的二进制位设置值，偏移量从0开始计数，且只允许写入1或者0，如果写入非0和1的值则写入失败：

GETBIT
语法：GETBIT key offset
即：命令 key 偏移量
gitbit命令用于获取位数组指定偏移量上的二进制值：

BITCOUNT
语法：BITCOUNT key
即：命令 key
bitcount命令用于获取指定key的位数组中值为1的二进制位的数量，之前我们写入了偏移量0的值为1，偏移量10 的值为1，偏移量8的值为0：

BITOP
语法：BITOP operation destkey key [key...]
即：命令操作结果目标key key1 key2 ...
bitop命令可以对多个位数组的key进行and（按位与）、or（按位或）、xor（按位异或）运算，并将运算结果设置到destkey中：

底层数据结构分析

SDS是redis中的一种数据结构，叫做简单动态字符串（Simple Dynamic String），并且它是一种二进制安全的，在大多数的情况下redis中的字符串都用SDS来存储。
SDS的数据结构：

SDS的优点：
1.时间复杂度为O(1)
2.杜绝缓冲区溢出
3.减少修改字符串长度时候所需的内存重分配次数
4.二进制安全的API操作
5.兼容部分C字符串函数

redis中的位数组采用的是String字符串数据格式来存储，而字符串对象使用的正是上文说的SDS简单动态字符串数据结构。

大家都知道的是一个字节用的是8个二进制位来存储的，也就是8个0或者1，即一个字节可以存储十进制0~127的数字，也即包含了所有的数字、英文大小写字母以及标点符号。

1Byte=8bit
1KB=1024Byte
1MB=1024KB
1GB=1024MB

时间复杂度

GETBIT命令时间复杂度O(1)
STEBIT命令时间复杂度O(1)
BITCOUNT命令时间复杂度O(n)
BITOP命令时间复杂度O(n)、O(n2)
我们来看GETBIT以及SETBIT命令的时间复杂度为什么是O(1)，当我们执行一个SETBIT key 10086 1的值的时候，reids的计算方式如下：
获取到要写入位数组中的哪个字节：10086÷8=1260，需要写入到位数组的下标1260的字节
获取要写入到这个字节的第几位：10086 mod 8 = 6，需要写入到这个字节的下标为6即第7位上去。
通过这两种计算方式大家可以清晰的看到，位操作的GETBIT和SETBIT都是常量计算，因此它的时间复杂度为O(1)。
而BITCOUNT命令需要对整个位数组的所有元素进行遍历算出值为1的有多少个，当然redis对于大数据了的bit执行bitcount命令会有一整套复杂的优化的算法，但是核心思路还是这个意思，无非是减少部分遍历查询次数。比如以128位为一次遍历，那么他的遍历次数就是所有的位数除以128。
BITTOP命令则是根据不同的操作有不同的执行方式。比如AND操作，则需要查看位值为1的即可。

存储空间计算

根据上面的介绍，相信大家已经知道了基于redis的位数组数据结构存储的数据占用内存大小是怎么计算的了。比如有100亿的数据，那么它需要的字节数组：
1000000000÷8÷1024÷1024≈119.21MB
也就是存储10亿的数据只需要119MB左右的内存空间，这对于现在动辄16G、32G集群版的redis，完全没有问题。
需要注意的是，如果你的数据量不大，那就不要把起始偏移量搞的很大，这样也是占空间的，比如我们只需要存储几百条数据，但是其中的偏移量却很大，这就会造成了很大的内存空间浪费。

应用场景

实际项目开发中有很多业务都适合采用redis的bit来实现。
用户签到场景
每天的日期字符串作为一个key，用户Id作为offset，统计每天用户的签到情况，总的用户签到数
活跃用户数统计
用户日活、月活、留存率等均可以用redis位数组来存储，还是以每天的日期作为key，用户活跃了就写入offset为用户id的位值1。
同理月活也是如此。
用户是否在线以及总在线人数统计
同样是使用一个位数组，用户的id映射偏移量，在线标识为1，下线标识为0。即可实现用户上下线查询和总在线人数的统计
APP内用户的全局消息提示小红点
现在大多数的APP里都有站内信的功能，当有消息的时候，则提示一个小红点，代表用户有新的消息。

【云栖号在线课堂】每天都有产品技术专家分享！
课程地址：https://yqh.aliyun.com/zhibo

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间：2020-04-24
本文作者：互联网架构师
本文来自：“互联网架构师微信公众号”，了解相关信息可以关注“互联网架构师”

微信关注我们

原文链接：https://yq.aliyun.com/articles/757159

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《自然》脑机接口新突破人脑信号转文本准确率达97%

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！据国外媒体报道，一个由加州大学旧金山分校的研究团队打造的新型人工智能系统可根据人脑信号来生成文本，准确率最高可达97%。亚马逊和谷歌等科技公司打造的虚拟助手相当先进，语音识别能力比起几年前进步惊人，近年来人们才刚开始领会它们的威力。然而，事实上，一项更令人惊叹、更匪夷所思的里程碑式技术创新可能即将实现。它的出现让语音识别技术完全相形见绌，这是一个十分强大的人工智能(AI)系统，可以根据人们的大脑活动直接生成完整的文本，整个过程完全不需要听到任何一个单词。这不完全是科幻小说中的概念。近几十年来，从动物模型到人类参与者，脑机接口技术的发展可谓突飞猛进。事实上，这类技术已经在尝试将这种概念从幻想变成现实。加州大学旧金山分校的研究人员在一项新研究中解释说，目前来看，通过该技术将人脑信号转换成的文本结果还不很准确。为了探究是否能够改善这一状况，由加州大学旧金山分校Edward Chang实验室神经外科教授Edward Chang领导的一个团队使用了一种全新的方法来解码脑皮质电图：通过植入...

2020-04-24

477

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！前言最近，开发人员需要定期的删除表里一定时间以前的数据，SQL如下： mysql > delete from testtable WHERE biz_date <= '2017-08-21 00:00:00' AND status = 2 limit 500\G 前段时间在优化的时候，我们已经在相应的查询条件上加上了索引，如下： KEY `idx_bizdate_st` (`biz_date`,`status`) 但是实际执行的SQL依然非常慢，为什么呢，我们来一步步分析验证下。分析表上的字段既然都有索引，那么按照之前的文章分析，是两个字段都可以走上索引的。既然能够利用索引，表的总大小也就是200M左右，那么为什么形成了慢查呢？我们查看执行计划，去掉limit 后，发现他选择了走全表扫描。 mysql > desc select * from testtable WHERE biz_date <= '2017-08-21 00:00:00'; +----...

2020-04-24

469

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。