反思｜分布式框架是必须的吗？
【原文编者的话】本文主要讲述了通过规范化处理流程，可以使用相同的处理流程来处理流式或者批量处理任务，例如Hadoop和Storm，从而提高重用性。 当有人问起该如何处理大数据问题时，他们总是被指引到现存的产品中，例如Hadoop或者Storm。虽然这些产品非常棒，但也引发了一些问题。首先，就我个人的经验来看，为了获得最佳的处理结果，你必须使用这些框架首选的语言或者虚拟机编写你的代码，典型的就是JVM。当语言或者虚拟机不适用时，就意味着你必须重写你的代码来适应这些框架。同样，像Hadoop和Storm这两种框架所做的事情非常不一样，这就给代码的重用增加了更大的困难。如果你想做流式和批量处理分析，你就需要这两种框架。当然，有些方法能够做到这一点，但我不清楚这种方法是否有更多的选择性，或者这种方法是否很难进行维持。 目前，我正在使用一个分布式系统并且它没有使用任何上述技术。这个分布式系统运行的很好，虽然它不完美，但是它的确实现了。这就引发我思考分布式框架是否是必须的。实际上，MapReduce和Streaming框架的真正区别是什么?数据通过不同的处理流程串行化，这仅仅是如何将数据链接到一起...
