《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序-低调大师

《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

2017-05-01 599

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第3章，第3.1节使用Spark Shell编写程序，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.1　使用Spark Shell编写程序
要学习Spark程序开发，建议首先通过spark-shell交互式学习，加深对Spark程序开发的理解。spark-shell提供了一种学习API的简单方式，以及一个能够交互式分析数据的强大工具，在Scala语言环境下（Scala运行于Java虚拟机，因此能有效使用现有的Java库）或Python语言环境下均可使用。
3.1.1　启动Spark Shell
在spark-shell中，已经创建了一个名为sc的SparkContext对象，如在4个CPU核上运行bin/spark-shell，命令如下：

微信关注我们

原文链接：https://yq.aliyun.com/articles/108449

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《HBase管理指南》一1.9　安装多个高可用性（HA）的主节点

本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.9节，作者：蒋燚峰译者：苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9　安装多个高可用性（HA）的主节点 Hadoop和HBase的设计目标是能够在各从节点之间自动进行故障转移。因为在大型集群中可能有很多节点，服务器硬件故障或从节点宕机被视为是集群中的正常现象。对于主节点来说，HBase本身并没有SPOF。HBase使用ZooKeeper作为它的中央协调服务。ZooKeeper仲裁团通常是一个由3台以上服务器所组成的集群。只要集群中有一半以上的服务器还处于在线状态，ZooKeeper就可以正常提供服务。 HBase将其活跃主节点、根域服务器的位置以及其他一些重要的运行数据都保存在ZooKeeper中。因此，我们只需在两台不同服务器上启动两个（或两个以上的）HMaster守护进程，其中先启动的那个就会成为HBase集群的活跃主服务器。但是，HDFS的NameNode却是集群的单点故障。NameNode将整个HDFS文件系统的映像文件保存在它的本地存储中。如果NameNode宕机，HDFS就无法正...

2017-05-02

623

SparkEnv在两个地方会被创建, 由于SparkEnv中包含了很多重要的模块, 比如BlockManager, 所以SparkEnv很重要 Driver端, 在SparkContext初始化的时候, SparkEnv会被创建 // Create the Spark execution environment (cache, map output tracker, etc) private[spark] val env = SparkEnv.createFromSystemProperties( "<driver>", // 表示是driver, 下面的executor则是executorid System.getProperty("spark.driver.host"), System.getProperty("spark.driver.port").toInt, true, isLocal) SparkEnv.set(env) Executor端, 在executor初始化时被创建 // Initialize Spark environment (using syst...

2017-05-02

599

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。