Spark2.1.0之代码结构及载入Ecplise方法
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/79688675 本文旨在帮助那些想要对Spark有更深入了解的工程师们，了解Spark源码的概况，搭建Spark源码阅读环境，编译、调试Spark源码，为将来更深入地学习打下基础。 一、项目结构 在大型项目中，往往涉及非常多的功能模块，此时借助于Maven进行项目、子项目（模块）的管理，能够节省很多开发和沟通成本。整个Spark项目就是一个大的Maven项目，包含着多个子项目。无论是Spark父项目还是子项目，本身都可以作为独立的Maven项目来管理。core是Spark最为核心的功能模块，提供了RPC框架、度量系统、Spark UI、存储体系、调度系统、计算引擎、部署模式等功能的核心实现。这些Spark中主要子项目（模块）的功能如下： spark-catalyst：Spark的词法、语法分析、抽象语法树（AST）生成、优化器、生成逻辑执行计划、生成物理执行计划等。 spark-core：Spark最为基础和核心的功能模块。 spar...
