《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序-低调大师

《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

2017-05-01 630

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第3章，第3.1节使用Spark Shell编写程序，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.1　使用Spark Shell编写程序
要学习Spark程序开发，建议首先通过spark-shell交互式学习，加深对Spark程序开发的理解。spark-shell提供了一种学习API的简单方式，以及一个能够交互式分析数据的强大工具，在Scala语言环境下（Scala运行于Java虚拟机，因此能有效使用现有的Java库）或Python语言环境下均可使用。
3.1.1　启动Spark Shell
在spark-shell中，已经创建了一个名为sc的SparkContext对象，如在4个CPU核上运行bin/spark-shell，命令如下：

微信关注我们

原文链接：https://yq.aliyun.com/articles/108449

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《HBase管理指南》一1.9　安装多个高可用性（HA）的主节点

本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.9节，作者：蒋燚峰译者：苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9　安装多个高可用性（HA）的主节点 Hadoop和HBase的设计目标是能够在各从节点之间自动进行故障转移。因为在大型集群中可能有很多节点，服务器硬件故障或从节点宕机被视为是集群中的正常现象。对于主节点来说，HBase本身并没有SPOF。HBase使用ZooKeeper作为它的中央协调服务。ZooKeeper仲裁团通常是一个由3台以上服务器所组成的集群。只要集群中有一半以上的服务器还处于在线状态，ZooKeeper就可以正常提供服务。 HBase将其活跃主节点、根域服务器的位置以及其他一些重要的运行数据都保存在ZooKeeper中。因此，我们只需在两台不同服务器上启动两个（或两个以上的）HMaster守护进程，其中先启动的那个就会成为HBase集群的活跃主服务器。但是，HDFS的NameNode却是集群的单点故障。NameNode将整个HDFS文件系统的映像文件保存在它的本地存储中。如果NameNode宕机，HDFS就无法正...

2017-05-02

675

SparkEnv在两个地方会被创建, 由于SparkEnv中包含了很多重要的模块, 比如BlockManager, 所以SparkEnv很重要 Driver端, 在SparkContext初始化的时候, SparkEnv会被创建 // Create the Spark execution environment (cache, map output tracker, etc) private[spark] val env = SparkEnv.createFromSystemProperties( "<driver>", // 表示是driver, 下面的executor则是executorid System.getProperty("spark.driver.host"), System.getProperty("spark.driver.port").toInt, true, isLocal) SparkEnv.set(env) Executor端, 在executor初始化时被创建 // Initialize Spark environment (using syst...

2017-05-02

633

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。