伯克利开源 Confluo,吞吐量是 Kafka 的 4 到 10 倍
近日伯克利 RISE Lab 开源了一个多数据流实时分布式分析系统 Confluo,它既是一个网络监控和诊断框架,也可以作为时序数据库和发布订阅消息系统。
源码地址:https://github.com/ucbrise/confluo
当下,类似基于终端主机的网络监控系统、IoT 设备传感器程序等应用,其后端的服务器每秒都可以捕获数千万个数据点。这些数据被用于在线查询,实现可视化与监控,或者用于离线查询,进行故障分析和系统优化。这样的使用场景下,就需要实时监控和分析工具支持,这些工具通常支持高吞吐量数据提取、低延迟在线查询和低开销的离线查询。
虽然目前已经存在一些用于高吞吐量数据提取的数据结构,它们可以支持丰富的在线和离线查询,但是高吞吐量与查询能力目前来看还是互斥的。在从多个数据流提取数据时,查询需要更新多个数据结构,包括原始数据、聚合统计信息和物化视图。但是用于支持这些查询的数据结构往往具有较高的更新开销,而且无法维持大多数应用程序所需的数据提取速率。而另一方面,可以维持高数据提取速率的数据结构往往只支持非常简单的查询。
Confluo 正是为了应对这种情况而产生的,它是一个致力于同时实现高吞吐量数据提取和富有表现力的离线/在线查询的系统。
Confluo 性能强悍,支持:
来自多个数据流的数百万个数据点的高吞吐量并发写入
毫秒级的在线查询
使用最少 CPU 资源的 ad-hoc 查询
不同场景下对 Confluo 进行性能测试,结果显示:
作为一个网络监控和诊断框架,Confluo 能够在单核上以线路速率(10Gbps 链路)执行数千个触发器和数十个过滤器。
作为一个时序数据库,与其它诸如 CorfuDB、TimescaleDB 和 BTrDB 等先进的时序数据库相比,Confluo 的吞吐量提高了 2 到 20 倍,写入延迟降低了 2 至 10 倍,时间区间查询延迟降低了 5 至 20 倍。
作为一个发布订阅消息系统,Confluo 的吐量是 Kafka 的 4 到 10 倍。
更详细的分析:https://rise.cs.berkeley.edu/blog/confluo-millisecond-level-queries-on-large-scale-streaming-data
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
TARS 斩获 2018 年最佳原创开源软件奖
最近在开源中国举办的开源年终盛典上,开源项目 TARS 获得了年度最佳原创开源软件奖。 谈到微服务,人们往往会提起Spring Cloud和Service Mesh。 目前带服务治理的微服务框架中,Spring Cloud对JAVA开发者在微服务系统开发过程的各个环节不断丰富,使其在JAVA开发领域有广泛的应用。 另外,近年Service Mesh 作为后起之秀,也得到了较为广泛的关注。它在 Sidecar 的基础上,强调了各个代理之间形成的有机网络,可以做到语言无关、功能可扩展,目前社区处于发展阶段。 Spring Cloud 与 Service Mesh 这两种模式,一个作为JAVA开发领域的翘楚,一个被誉为开启下一代微服务架构的基础,那么 TARS 的突破口在哪里?又何以戴上“最佳原创”的皇冠?笔者深挖了 TARS 这个项目开源以来的一些信息,并采访了项目相关负责人,整理出此文供读者参考。 据悉,TARS是腾讯去年 4 月份开源的一款微服务框架,它集可扩展协议编解码、高性能 RPC 通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体,是涉及到微服务架构系统开发和运维的...
- 下一篇
突发!5G 标准进程延后 3 个月
据可靠情报,在前两天于意大利举行的3GPP会议上,3GPP扔出重磅炸弹:R15 Late Drop冻结时间推迟3个月。 该计划推迟或将影响后续的R16版本冻结时间,也将可能导致推迟后续5G服务推出时间。 3GPP原计划在2018年12月冻结R15 Late Drop版本,并于2019年3月完成含有完整ASN.1 代码的标准版本,但本次会议决定,将R15 Late Drop版本的冻结时间推迟到2019年3月,ASN.1完成时间顺延至2019年6月。 R15为5G第一阶段标准,R16为5G第二阶段标准,该推迟计划可能将影响后续的R16版本冻结时间。原计划R16将于2019年12月冻结,而此次重新修改时间表后,R16估计将推迟于2020年3月冻结,并在2020年6月完成ASN.1冻结。 这到底是什么情况? 众所周知,2017年12月,3GPP 完成了R15 NR NSA(非独立组网)标准;2018年6月14日,世界杯前夕,3GPP发布了R15 NR SA(独立组网)标准。 但是,事实上3GPP R15标准并未完全结束。 因为R15有三个版本:R15 NR NSA、R15 NR SA和 R15...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果