Hadoop之后:大数据的未来
在实时数据世界里,为什么我们还这么执着于Hadoop? 根据451 Research调查数据显示,围绕批处理架构的Hadoop仍然是大数据[注]的代表技术,尽管其声誉仍然超过实际部署情况。 还没有真正部署Hadoop的企业可能想要再等一等。而随着Apache Spark等其他技术(Storm、Kafka等)的出现,我们似乎与Hadoop的批处理渐行渐远,逐渐转向实时数据的未来。 批处理不是重点 Cloudera的Doug Cutting是一个非常聪明的人,也是开源开发人员,Hadoop、Lucene等大数据工具的开发都有他的功劳。 虽然Cutting承认实时流媒体技术的重要性,但他并没有否认面向批处理的Hadoop的价值,他表示: 并不是因为我们觉得批处理是最好的,所以Hadoop围绕批处理而构建。批处理(特别是MapReduce)很自然是第一步,因为它相对容易部署, 并提供很重要的价值。在Hadoop之前,没有办法使用开源软件在商品硬件存储和处理千兆字节。Hadoop的MapReduce是很大的进步。 我们很难说清楚大数据的商品化对这个世界的重要性。这并不是说在Hadoop之前我们没...