Spark Tachyon实战应用(配置启动环境、运行spark和运行mapreduce)
Tachyon实战应用 配置及启动环境 修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群 读取文件并保存 Tachyon运行MapReduce 修改core-site.xml 启动YARN 运行MapReduce例子 1 配置及启动环境 1.1.1修改spark-env.sh 修改$SPARK_HOME/conf目录下spark-env.sh文件: $cd /app/hadoop/spark-1.1.0/conf $vi spark-env.sh 在该配置文件中添加如下内容: export SPARK_CLASSPATH=/app/hadoop/tachyon-0.5.0/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar:$SPARK_CLASSPATH 1.1.2启动HDFS $cd /app/hadoop/hadoop-2.2.0/sbin $./start-dfs.sh 1.1.3启动...












