【实例】Spark本地开发环境搭建-低调大师

【实例】Spark本地开发环境搭建

2017-07-31 511

本文使用Scala2.10.6，sbt。请自行提前装好。

设置SSH，本地免密码登录

因为Spark master需要ssh到Spark worker中执行命令，所以，需要免密码登录。

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

执行ssh localhost确认一下，如果不需要密码登录就说明OK了。

Tips： Mac下可能ssh不到本地，请检查你sharing设置：

下载Spark

http://spark.apache.org/downloads.html

我选择的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一个分发版本)，别以为它是要你装Hadoop。其实不然，要看你自己的开发需求。因为我不需要，所以，我只装Spark。

配置你的Spark slave

我很好奇，worker和slave这个名称有什么不同?还是因为历史原因，导致本质上一个东西但是两种叫法?

在你的Spark HOME路径下

cp ./conf/slaves.template ./conf/slaves

slaves文件中有一行localhost代表在本地启动一个Spark worker。

启动Spark伪分布式

/sbin/start-all.sh

执行JPS验证Spark启动成功

jps
83141 Worker
83178 Jps
83020 Master

打开你的Spark界面

http://localhost:8080

下载Spark项目骨架

为方便我自己开发，我自己创建了一个Spark应用开发的项目骨架。

下载项目骨架： http://git.oschina.net/zacker330/spark-skeleton
项目路径中执行：sbt package 编译打包你的spark应用程序。

将你的spark应用程序提交给spark master执行

<SPARK_HOME>/bin/spark-submit \
--class "SimpleApp" \
--master spark://Jacks-MBP.workgroup:7077 \
target/scala-2.10/spark-skeleton_2.10-1.0.jar

这个“spark://Jacks-MBP.workgroup:7077”是你在 http://localhost:8080 中看到的URL的值

可以看到打印出: hello world

本文作者：翟志军

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/196726

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

初学hadoop的心路历程

在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。 Hadoop学习两步走:linux学习、hadoop学习。在接触hadoop之前我有java基础，为此我的计划是首先学习Linux,然后学习hadoop生态系统,为此学习hadoop第一步计划就是学习linux了，然后linux又可以分为四个步骤走。 linux任务第一个目标就是要熟练操作linux常用命令以及网络配置; 第二个目标就是熟悉用户以及权限管理操作; 第三个目标就是熟悉软件包以及系统命令管理，第四个就是要学习shell编程了。 Linux系统学习完毕之后，紧接着就是第二个计划了学习Hadoop。 Hadoop阶段分两步走。第一阶段能熟练搭建伪分布式集群以及完全分布式集群，我个人认为先搭建hadoop环境然后再学习hadoop这样效果更好。就如同看别人代码一样，我们先把别人代码能跑起来，然后再分析代码，如果代码都跑不起来，何谈代码分析，所以先让hadoop环境搭...

2017-08-01

461

在之前的HBase BlockCache系列文章中已经简单提到：使用LRUBlockCache缓存机制会因为CMS GC策略导致内存碎片过多，从而可能引发臭名昭著的Full GC，触发可怕的’stop-the-world’暂停，严重影响上层业务；而Bucket Cache缓存机制因为在初始化的时候就申请了一片固定大小的内存作为缓存，缓存淘汰不再由 JVM管理，数据Block的缓存操作只是对这篇空间的访问和覆盖，因而大大减少了内存碎片的出现，降低了Full GC发生的频率。那CMS GC策略如何导致内存碎片过多？内存碎片过多如何触发Full GC？HBase在演进的道路上又如何不断优化CMS GC？接下来这个系列《HBase GC的前生今生》将会为你一一揭开谜底，这个系列一共两篇文章，本篇文章－’身世篇’将会带你全面了解HBase的GC机制，后面一篇－’演进篇’将会给你道出HBase在发展的道路上如何不断对Full GC进行优化。 Java GC概述整个HBase是构建在JVM虚拟机上的，因此了解HBase的内存管理机制以及不同缓存机制对GC的影响，就必须对Java GC有一个全面的了...

2017-08-01

492

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。