《Spark与Hadoop大数据分析》——3.1 启动 Spark 守护进程
3.1 启动 Spark 守护进程
如果你计划使用 Standalone 的集群管理器,则需要启动 Spark 的主机(master)和工作机(worker)的守护进程(daemon),它们是 Spark 架构的核心组件。守护进程的启动/停止在不同的发行版里略有差异。Hadoop 发行版(如 Cloudera、Hortonworks 和 MapR)会把 Spark 作为服务,并把 YARN 作为默认的资源管理器。这意味着在默认情况下所有 Spark 应用程序都会在 YARN 框架上运行。但是,要使用 Spark 的 Standalone 资源管理器,我们就需要启动 Spark 的主机和工作机角色。如果你计划使用 YARN 资源管理器,就不需要启动这些守护进程。请根据你使用的发行版类型,按照以下步骤进行操作。所有这些发行版的下载和安装