业界 | Airbnb的变更数据捕获系统,实现数据突变实时响应
在过去的几年中,适应数据演变已经成为Airbnb许多新兴应用的经常需求。上面的场景是个很好的示例,其中动态定价,房间可用性和预留工作流需要近乎实时地响应系统中不同部分的变化。
从基础架构的角度来看,设计我们的架构以扩展是必要的,因为我们的数据和服务数量不断增长。然而,作为努力面向服务架构的一部分,在微服务之间传播有意义的数据模型突变的有效方式同时保持保留数据所有权边界的解耦架构同样重要。
作为回应,我们创造了SpinalTap;一种可扩展,高性能,可靠,无损的变更数据捕获(CDC)服务,能够检测跨不同数据源类型的低延迟的数据突变,并将它们作为标准化事件传播给下游的消费者。SpinalTap已经成为Airbnb基础架构和衍生数据处理平台中不可或缺一部分,几个关键应用流水线都依赖于此。在这篇文章中,我们将概述它的系统体系结构,使用案例,性
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一目了然,看民生银行 IT 运维故障管理可视化案例
一、前言 民生银行 IT 运维工作经历了多年实践,已经建设了CMDB、IT运维管理系统(流程平台)、集中监控系统、交易性能监控系统、自动化运维系统、日志管理平台等管理工具,并在实际工作中不断深入的优化,在近年还打造了运维大数据平台,用以支撑 IT 运维管理工作。 在日常工作中,监(各类监控)、管(流程)、控(自动化)和CMDB系统均建立了映射关系,用以打通各系统的数据消费场景。 但实际工作中依然面临着工具分散,依靠运维人员经验和频繁切换各专业分析工具,以实现故障定位、影响分析等操作,运维数据消费效率存在进步空间。 二、建设思路与成果 基于上述背景,民生银行尝试借助架构管理可视化工具,将配置数据(CMDB)、监控数据(集中监控告警、交易性能监控)、自动化运维管理工具、IT运维管理系统的变更数据整合到 IT 运维架构图上,打造统一的运维数据消费
- 下一篇
AI算力需求100万倍增长,如何优化AI计算系统弥平鸿沟?
在深度学习激发的人工智能热潮下,许多创新力很强的企业的人工智能技术正逐步从研究实验走向应用与生产,在这一过程中,AI计算系统设计与优化的重要性愈发明显。 同时算法的发展对整个计算需求所造成的挑战会变得更大,提高整个AI计算系统的性能与效率迫在眉睫。 在机遇与挑战的双重推动下,有创新力的AI企业会研发出怎样的产品去面对变革?9月20日,AI WORLD 2018世界人工智能峰会重磅发布AI领域年度大奖——AI Era创新大奖,评选出2018年度对AI领域作出重大贡献,切实推动AI进步和发展的人物、企业和产品。本次峰会上,浪潮AI服务器成功登榜「AI产品影响力TOP10」。 浪潮是知名的AI计算力厂商,致力于从计算平台、管理套件、框架优化、应用加速四个层次打造敏捷、高效、优化的AI基础设施。浪潮AI服务器采用创新设计,为AI研发与应用提供领
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Red5直播服务器,属于Java语言的直播服务器
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- 2048小游戏-低调大师作品