Airbnb 数据基础设施与其背后的哲学
这第一篇关于 Airbnb。云计算尤其亚马逊的云服务(AWS)提供弹性计算能力,无需购买昂贵服务器甚至机房,通过虚拟化主机,还提供丰富配套组件,节约运维成本,方便扩展,成为很多创业公司的首选。这里 Airbnb 工程师 James Mayfield 以 AWS 作为基础搭建数据架构中走过的坑和经验分享,由于笔者也刚好做过,难度 2 星,供做数据的朋友学习。 第 1 部分:数据基础设施的背后哲学 在 Airbnb 我们提倡数据文化并使用数据作为关键输入去决策。跟踪指标,通过实验验证假设,建立机器学习模型和深入挖掘商业洞察是我们快速聪明前进的关键。 经过多年的进化,我们觉得数据基础设施服务稳定,可靠,可扩展,因此是一个很好的机会来分享我们的经验给社区。在接下来的几周内,我们将发布一系列突出我们的分布式架构和工具组件的博客文章。由于开源贡献者提供了许多我们每天使用的基础系统,使我们不仅乐意分享在公共 GitHub 的项目,而且还会聊我们一路上学到的东西。 了解我们数据基础设施的一些非正式理念: 放眼开源世界:在开源社区中数据基础设施有很多好的资源,我们尽量采用这些系统。此外,如果我们建立一些...