业界 | Airbnb的变更数据捕获系统,实现数据突变实时响应
在过去的几年中,适应数据演变已经成为Airbnb许多新兴应用的经常需求。上面的场景是个很好的示例,其中动态定价,房间可用性和预留工作流需要近乎实时地响应系统中不同部分的变化。
从基础架构的角度来看,设计我们的架构以扩展是必要的,因为我们的数据和服务数量不断增长。然而,作为努力面向服务架构的一部分,在微服务之间传播有意义的数据模型突变的有效方式同时保持保留数据所有权边界的解耦架构同样重要。
作为回应,我们创造了SpinalTap;一种可扩展,高性能,可靠,无损的变更数据捕获(CDC)服务,能够检测跨不同数据源类型的低延迟的数据突变,并将它们作为标准化事件传播给下游的消费者。SpinalTap已经成为Airbnb基础架构和衍生数据处理平台中不可或缺一部分,几个关键应用流水线都依赖于此。在这篇文章中,我们将概述它的系统体系结构,使用案例,性