下一代大数据:Twitter 公布曼哈顿实时数据库细节
Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动。 Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎——曼哈顿(Manhattan)数据库的技术细节。曼哈顿是一个分布式、实时数据库,服务对象是Twitter公司内部的多个团队和应用。 曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境,正如Twitter软件工程师Peter Schuller所言: 我们为了让生产系统满足各种产品的性能预期而四处救火,浪费了太多时间。为一个新应用配置存储资源需要涉及太多的人工和流程。根据我们的经验,为Twitter这样的大规模web业务开发和运营生产存储环境,采用现成的数据库技术已经行不通了。 Schuller在博客中详细介绍了Twitter如何开发出曼哈顿这样的高可靠、高可用、易用的新一代数据库。同时也公布了一些为曼哈顿数据库设 计的一些数据格式的细节。目前,用户通过key-value存储的...