我们知道，她的名字hadoop其实就代表了她的两个伙伴，她的心腹 就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，她的旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解她，就必须知道HDFS和MapReduce是什么。HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。通俗说MapReduce是一套从海量·源数据提取分析元素最后返回结果集的编程模型，将文件分布式存储到硬盘是第一步，而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。简单的说就是，HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。      

        随着二十一世纪，互联网势如破竹的日新月异，风生水起瞬息万变，一方面用户量激增，另一个方面人们对于数据的渴望，以前领导可能就只要看一个结果或者是某方面的报告就ok了，但现在大家都想更贴近用户、机器，同时其他的譬如交通、电信行业，产生的富媒体数据更是丰富多彩，数据规模也是不断增长。我们希望能从这些用户行为、机器日志中看到更多能够优化系统、优化用户体验，做更多的用户研究。所以更多的数据带来更多的存储问题，原来的单机已经不能解决，而多个磁盘的轮询读取性能也是很低，同时磁盘的发展趋势：寻址时间的提高远远慢于传输速率的提高。在这种迫切需要解决对数据处理系统的这种一次写入、多次读取而非像传统RDBMS的持续更新的需求，所以她就应运而生了。总得来说她是为大数据而生。

         还记得那部火遍大江南北的《纸牌屋》，连王岐山和奥巴马都是纸牌屋的粉丝，《纸牌屋》最大的特点在于，与以往电视剧的制作流程不同，这是一部“网络剧”。简而言之，不仅传播渠道是互联网观看，这部剧从诞生之初就是一部根据“大数据”，即互联网观众欣赏口味来设计的产品。《纸牌屋》的成功在一定程度上得益于大数据，其出品方Netflix称挖掘其用户行为的“大数据”已经很长时间，《纸牌屋》是其数据分析结果的第一次战略运用。通过数据分析，Netflix甚至比观众还要清楚他们的观影喜好。据悉，该网站基于3000万北美用户观看视频时留下的行为数据，推测出一部剧的关键要素可以是凯文·史派西、大卫·芬奇和BBC出品三者的交集，可以获得成功，于是打造了《纸牌屋》。

　　Hadoop：化整为零，文件被切开到不同层面，将计算移动到所在数据的节点上，通过节点实现并行化IO，因此需要挂很多层。而Map Reduce任务的数量跟CPU核数捆绑，因此CPU核数越多，Map配置就越快。通过移动计算取代移动数据，以获得更高的IO，这正是大数据存在的意义。

        正如知名IT评论人谢文所说：“大数据之所以可能成为一个时代，在很多程度上是因为这是一个可以由社会各界广泛参与，八面出击，处处结果的社会运动，而不仅仅是少数专家学者的研究对象”。数据产生于各行各业，这场变革也必将影响到各行各业，因此，机遇也蕴含于各行各业。致力于IT创业的人们紧紧盯着这个市场，洞察着每一个机遇。下一个十年，hadoop又会带给我们怎样的惊喜，让我们一起期待。