颠覆大数据分析之Spark为Shark所提供的扩展
在Spark的RDD上执行SQL查询遵循的是传统并行数据库的三步流程： 查询解析 逻辑计划的生成 将逻辑计划映射为物理的执行计划 Shark使用Hive查询编译器来进行查询语句的解析。它会生成一棵抽象语法树，然后再将它转化成一个逻辑计划。Shark中逻辑计划的生成方式也类似于Hive中的。但两者的物理计划的生成方式则不尽相同。Hive中的物理计划是一系列的MR作业，而Shark中的则是分阶段RDD转换的一个有向无环图。由于Shark的高工作负荷的这个性质（通常在Hive中机器学习及用户定义函数（UDF）都很常见），因此在编译期很难获取到物理查询计划。对于新数据而言的确是这样的（之前还未被加载到Shark中）。值得注意的是， Hive和Shark都经常用来查询这类数据。因此，Shark引入了一个叫部分有向无环图执行（Partial DAG Execution，PDE）的概念。 部分DAG执行 这项技术会基于运行时收集的数据来生成查询语句的执行计划，而不是在编译期就去生成查询的物理执行计划。收集的数据包括分区大小，倾斜检测的记录条数，哪些记录是频繁出现的，以及RDD分区中数据分布的粗略的直...
