《Hadoop实战手册》一1.1 介绍
本节书摘来异步社区《Hadoop实战手册》一书中的第1章,第1.1节,作者: 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者: 傅杰 , 赵磊 , 卢学裕 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1 介绍 在一个经典的数据架构中,Hadoop是处理复杂数据流的核心。数据往往是从许多分散的系统中收集而来,并导入Hadoop分布式文件系统(HDFS)中,然后通过MapReduce或者其他基于MapReduce封装的语言(如Hive、Pig和Cascading等)进行处理,最后将这些已经过滤、转换和聚合过的结果导出到一个或多个外部系统中。 举个比较具体的例子,一个大型网站可能会做一些关于网站点击率的基础数据分析。从多个服务器中采集页面访问日志,并将其推送到HDFS中。启动一个MapReduce作业,并将这些数据作为MapReduce的输入,接下来数据将被解析、汇总以及与IP地址进行关联计算,最终得出URL、页面访问量和每个cookie的地理位置数据。生成的相关结果可以导入关系型数据库中。即席查询(Ad-...