数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka
在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外,我们亦可借此实现复杂的Lambda以及Kappa架构。
在本文开始阐述之前,让我们首先立足于已有生产项目经验从设计与示例入手进行说明。
综述

• Mesos - 集群资源管理系统,能够立足于分布式应用程序提供行之有效的资源隔离与共享能力。
• Akka - 一套用于在JVM之上构建高并发、分布式及弹性消息驱动型应用程序的工具包与运行时。
• Cassandra - 一套分布式高可用性数据库,旨在跨越多座数据中心处理大规模数据。