微软开源数据处理引擎 Trill,每天可分析万亿次事件
微软近日开源了数据处理引擎 Trill,它每天能够分析万亿次事件。
项目地址:https://github.com/Microsoft/trill
当下每毫秒处理大量数据正成为一种常见的业务需求,此次微软开源的 Trill,据说每秒能够处理高达数十亿事件,它结合了多模式分析支持和一系列其它功能,微软声称其它任何系统都无法完全与之匹敌。它有如下特点:
作为单节点引擎库,任何 .NET 应用程序、服务或平台都可以轻松使用并处理查询。
提供一种时态查询语言,允许用户进行实时和离线数据集复杂查询。
高性能,满足高速度与低延迟。过滤器以每秒数十亿事件的内存带宽速度运行,而分组聚合每秒运行 10 到 1 亿个事件。
该引擎用途广泛,足以处理实时数据和历史数据,目前只有少数几款开源工具拥有同样的能力。
Trill 于 2012 年开始作为 Microsoft Research 的一个研究项目,在 VLDB 和 IEEE Data Engineering Bulletin 等研究论文中进行了广泛的描述。Trill 最早来源于微软以前的服务 StreamInsight,这是一个功能强大的平台,允许开发人员开发和部署复杂的事件处理应用程序。两个系统都基于扩展查询和数据模型,该模型使用时间组件扩展关系模型。
对于用户来说,使用 Trill 与使用任何 .NET 库是一样的,因此不需要脱离 .NET 环境。用户可以将 Trill 嵌入到各种分布式处理基础架构中,例如 Orleans 和微软的 SCOPE 数据处理基础架构的流式版本。
Trill 支持内部应用程序和外部服务,覆盖数千名开发人员,目前已经提供了许多功能强大的流媒体服务,使用场景包括:
Financial Fabric
Bing Ads
Azure Stream Analytics
Halo
更详细的分析查看 Microsoft Azure 首席软件工程师的这篇文章:
https://azure.microsoft.com/en-us/blog/microsoft-open-sources-trill-to-deliver-insights-on-a-trillion-events-a-day
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
突发!5G 标准进程延后 3 个月
据可靠情报,在前两天于意大利举行的3GPP会议上,3GPP扔出重磅炸弹:R15 Late Drop冻结时间推迟3个月。 该计划推迟或将影响后续的R16版本冻结时间,也将可能导致推迟后续5G服务推出时间。 3GPP原计划在2018年12月冻结R15 Late Drop版本,并于2019年3月完成含有完整ASN.1 代码的标准版本,但本次会议决定,将R15 Late Drop版本的冻结时间推迟到2019年3月,ASN.1完成时间顺延至2019年6月。 R15为5G第一阶段标准,R16为5G第二阶段标准,该推迟计划可能将影响后续的R16版本冻结时间。原计划R16将于2019年12月冻结,而此次重新修改时间表后,R16估计将推迟于2020年3月冻结,并在2020年6月完成ASN.1冻结。 这到底是什么情况? 众所周知,2017年12月,3GPP 完成了R15 NR NSA(非独立组网)标准;2018年6月14日,世界杯前夕,3GPP发布了R15 NR SA(独立组网)标准。 但是,事实上3GPP R15标准并未完全结束。 因为R15有三个版本:R15 NR NSA、R15 NR SA和 R15...
- 下一篇
Facebook 开源 DeepFocus,实现更逼真的 VR 图像
Facebook 开源了一种基于 AI 可实现更逼真 VR 图像的系统DeepFocus。 DeepFocus 可与高级原型头戴设备配合使用,实时渲染模糊和各种焦距。例如,当有头戴支持 DeepFocus 的设备观看附近的物体时,它会立即聚焦并变得清晰,而背景物体则会失去焦点,这与现实生活中的感观一样。这种散焦模糊(也称为视网膜模糊)对于实现 VR 中的真实感和深度感知非常重要。DeepFocus 是目前第一个能够为 VR 应用实时生成此效果的系统。 一些传统方法,例如使用累积缓冲器,可以实现物理上精确的散焦模糊。但它们无法实时产生复杂而丰富的内容,因为即使是最先进的芯片,处理需求也太高了。DeepFocus 使用深度学习解决了这个问题,团队开发了一种新的端到端卷积神经网络,眼睛看到场景的不同部分,就会产生具有精确视网膜模糊的图像。该网络包括新的保持体积的交织层,以在完全保留图像细节的同时减小输入的空间维度。然后网络的卷积层以相同的、降低的空间分辨率运行,运行时间显着减少。 由于 DeepFocus 仅依赖于标准 RGB-D 颜色和深度输入,因此它几乎适用于所有现有的 VR 游戏和应用...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装Docker,最新的服务器搭配容器使用
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- CentOS8编译安装MySQL8.0.19
- Hadoop3单机部署,实现最简伪集群
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7,8上快速安装Gitea,搭建Git服务器