QCon思考之通过Quora和Spotify案例，直击数据处理背后的魅影

有的同学很困惑米国人不看知乎怎么知道那么多知识呢？米国人当然看Quora啦，Quora是一个问答社交软件，问答社交的特点就是有各种各样的计数器，比如帖子的支持、反对、评论数量，用户的关注、粉丝数量等等，随着用户量的增加、帖子的增多、以及带来的互动的增长，Quora处理的数据也是爆炸式增长。Quora从第一天开始就长在云上（AWS），生产环境使用MySQL和HBase做存储，使用RefShift和Spark用来做数据分析，在这些组件的基础上Quora做了一个数据服务叫Quanta，Quanta的设计约束是：

A：数据更新之后不能丢失，要求持久化到disk

B：有billion级别的counter，单机放不下，所以需要分布式集群

C：每秒写>10W次，每秒读>100W次，只能用追加写

D：读写都要很快

E：资源和负载能够线性扩展，而