Spark集群独立模式HA
一、Spark简介: Spark是一种与Hadoop相似的开源集群计算环境 Spark基于MR算法实现的分布式计算,拥有Hadoop MR的优点,不同的是结果保存在内存中 Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReduce快40倍左右 Spark是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架 Spark兼容Hadoop的API,能够读写Hadoop的HDFS HBASE 顺序文件等 传统的hadoop Spark 环境概述: 192.168.1.2 master 192.168.1.3 worker 192.168.1.4 worker 二、Scala环境设置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 [root@master~] #tarzxvfscala-2.10.4.tgz-C/home/hadoop/ [root@master~] #cd/home/hadoop/ [root@masterhadoop] #ln-sscala-2.10.4scala [root@master~] #c...
