钉钉轻松顶住信息洪流的原因,竟然是它
今年的疫情来势汹汹,新冠病毒作为2020最具代表性的黑天鹅事件,虽然引起了一系列不良的连锁反应,但是却让“停工不停业、停课不停学”成为了疫情时期的刚需。
在疫情期间钉钉下载量激增,直冲各大应用商城下载量榜首,同时在线人数最多达到了2亿人。即使现在各行业已经正常复工,但钉钉的下载与使用量仍保持一个高速的提升,截至目前为止已有3亿的用户和1500w的企业组织在上面进行工作和学习。
但在这飞速发展的背后,对于技术也自然提出了更高的要求,尤其IM作为钉钉的核心功能,随着用户应用的不断深入,因此在业务和系统上也迎来了更大的机遇和挑战。
在9月18日云栖大会上,阿里云智能高级技术专家木洛就为我们详细介绍了,表格存储Tablestore是如何助力钉钉消息存储架构的升级,帮助钉钉顶住持续增长的流量。
钉钉IM消息存储面临的业务挑战
1、用户对于产品的品质要求越来越高。在功能上,要求场景化、定制化;在体验上,需要多设备状态同步,历史消息漫游。另外,为了满足一些大型企业的沟通需求,还需要支持人数超过万人的大群。这些要求,都是一个企业级IM必须能够满足的。
2、疫情过后,钉钉IM系统规模快速扩大,日均消息突破千亿,高峰期消息发送TPS超过千万,消息的存储大小更是突破1个P,系统的水平扩展性和成本控制已经成为了目前的核心需要解决的问题。
3、企业经常会面临一些大规模复杂场景下的业务,如何能在这种情况下提供全年99.995%可用性,也是我们需要攻克的重要课题。
什么是表格存储
表格存储 Tablestore是提供集存储、搜索和分析多功能一体的一站式结构化数据存储平台,覆盖物联网和互联网下的多场景应用。表格存储TableStore采用与Google Bigtable类似的宽表模型,天然的分布式架构,能支撑高吞吐的数据写入以及PB级数据存储。同时其简单可靠的数据模型和架构,帮助企业数据在存储和计算系统之间自然地流转。
表格存储如何帮助钉钉实现升级
钉钉整个消息系统架构可以分为三层,分别是:消息端、接入层以及消息系统。在一个完整的信息流写入过程中,消息首先会从端发送到接入服务器,接入层将消息投递到消息系统后,消息系统会通过一个MQ(消息队列)来对消息进行异步处理,最后则会有一组消息处理服务器来处理消息。
而在消息处理阶段,又能分为存储、同步和通知三个步骤。首先系统会将消息持久化存储到存储库内以支持消息漫游,之后再通过写扩散或者读扩散的方式写入同步库内,最后消息索引库会异步地对消息存储库内的消息进行全文索引以支持消息在线检索。
这个架构下存储层的核心是三个库,也就是存储库、同步库和索引库。存储库存储全量消息,根据数据的冷热进行分层存储。同步库支持消息读写扩散写入,支持多端多位点实时拉取消息。索引库对消息及元数据进行索引,支持模糊查询以及消息全文检索。
而表格存储Tablestore之所以能承担了这三个库的存储,核心优势是:
一,表格存储Tablestore设计实现了Timeline模型,是专为IM/Feeds场景设计,可简化模型抽象和开发。
二,表格存储Tablestore单表能支持海量数据规模存储,冷热分层,支撑消息场景下PB级、万亿行规模低成本存储。
三,表格存储Tablestore分布式存储计算分离架构,可支撑每秒千万TPS扩散消息写,同时能达到毫秒级查询性能。
四,表格存储Tablestore具有Serverless服务形态,极致弹性,存储和计算按需扩容,满足低成本诉求。
达到的效果
在2020年,钉钉把原来的存储系统全量升级到表格存储TableStore,而表格存储Tablestore为钉钉提供了强大的建模能力和检索能力,高效地支撑复杂多样的业务功能实现。同时,其良好的水平拓展能力,也极好地满足了钉钉业务快速发展的需求。
另外,在成本控制上,表格存储Tablestore可根据IM的业务特性,实现冷热数据的分层存储以及弹性扩缩容能力,降低存储系统的运行成本,实现业务的可持续发展。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云张献涛:一切从场景出发,实现计算的全场景覆盖
9月18日,2020云栖大会上,阿里巴巴研究员、阿里云智能弹性计算负责人张献涛分享了阿里云弹性计算的最新进展。 图:阿里巴巴集团研究员、阿里云智能弹性计算负责人张献涛 张献涛透露,目前阿里云的弹性计算已经实现对计算能力、行业和计算位置的全覆盖,全场景满足用户全面上云需求。“如果说过去十年,阿里云只做了一件事情的话,就是通过不断的产品和技术改进,让客户的业务能够更简单、更高效地云化,协助客户业务最终All-in Cloud。”张献涛表示。 通用计算、异构计算、HPC…实现计算能力的全面覆盖 经过十年的发展,阿里云弹性计算服务已经遍布全球,在全球22个地域、63个可用区提供云服务,同时服务了超过100万的企业用户;在中国,有超过80%的中国科技创新企业也在使用阿里云弹性计算的产品。 经过技术的不断演进,神龙计算架构已经成为了阿里云弹性计算产品的基础架构,并覆盖了通用计算、异构计算以及高性能计算等多种计算场景。即,一个神龙架构可以统一支持虚拟机、弹性裸金属、专用宿主机以及弹性容器实例等多种实例形态,实现了不同场景下对计算能力需求的全面覆盖。 为了更好地让客户业务能运行在阿里云平台上,阿里云弹...
- 下一篇
Serverless:云计算的下一个10年
10年前, UC 伯克利就曾预测云计算将会得到蓬勃发展,客户无需自建机房,按需为云端的资源进行付费,就像租赁模式,降低了企业在IT 方面的一次性投入,同时,借助云端丰富的产品支持,加快了业务的上线和迭代速度,加码企业核心竞争力,值得称赞的是,基于云来构建的业务,其稳定性和安全性获得了更专业的保障。 这就是常说的云计算带来的技术红利:更经济、更高效、更开放。因此,在各类市场分析报告中都能看到,云正在逐步替代传统 IDC 市场,呈现此消彼长的发展态势。 我们总是对未来充满好奇,对新旧事物的交替感到兴奋。2015年 AWS 推出了 Lambda 服务,Serverless 这个词首次出现在公众面前,随后,2017 年阿里云推出了函数计算 FC,2019年推出了 Serverless 应用引擎 SAE 和 Serverless 容器服务 ASK。伯克利再次预测 Serverless 将取代 Serverful 计算,由此,Serverless 引发业内的广泛关注。 Serverless 将云计算的红利 - 更经济、更高效、更开放,发挥到了极致,通过事件触发的机制,将闲置资源降低到0,就像一盏信...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS8编译安装MySQL8.0.19