Spark交互式工具spark-shell-低调大师

Spark交互式工具spark-shell

2017-11-12 669

REPL

Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程

Spark REPL

$SPARK_HOME/bin/spark-shell(scala)

$SPARK_HOME/bin/pyspark(python)

其他

Spark shell

Spark的scala REPL，支持使用scala语言来进行Spark的交互式编程

支持Spark的local，standalone，yarn client模式

启动./bin/spark-shell

内置实例化一个SparkContex对象，可以通过sc来调用

内置实例化一个SQLContext对象，可以使用sqlContext来调用查看帮助sc.\t

spark-shell运行在YARN上

登陆安装Spark那台机器

.bin/spark-shell --master yarn

（注意，这样也是yarn client模式）

spark-shell运行在YARN上（这是Spark on YARN模式）

(包含YARN client和YARN cluster）（作为补充）

登陆安装Spark那台机器

bin/spark-shell --master yarn-client

或者

bin/spark-shell --master yarn-cluster

　　包括可以加上其他的，比如控制内存啊等。这很简单，不多赘述。

　　我这里就以YARN Client演示了。

[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client
17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server
17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/03/29 22:40:06 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35692
17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)

微信关注我们

原文链接：https://yq.aliyun.com/articles/368456

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

yarn

前言：基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。该特性开发现状：最新版本2.8.x： 1.不支持标签表达式，如：&&,|,* 2.资源共享方式不实用，如：2.8.x的模式是labeled资源池向default资源池共享资源。 3.user-limit限制不可用，如：在队列中用户所能使用的资源不受当前活跃用户数限制。 4.BUG，如：队列可同时运行am限制计算错误，队列总资源显示错误如何配置：在hdfs上创建用于保存label相关数据的目录（相关数据后期有Patch改为用zk存储）。 hdfs dfs -mkdir /xxx/xxx/node-label/ hdfs dfs -chown yarn:yarn /xxx/xxx/node-label/ hdfs dfs -chmod 700 /xxx/xxx/node-label/ 在yarn-site.xml文件中配...

2017-11-13

640

开篇要明白（1）spark-env.sh 是环境变量配置文件（2）spark-defaults.conf （3）slaves 是从节点机器配置文件（4）metrics.properties 是监控（5）log4j.properties 是配置日志（5）fairscheduler.xml是公平调度（6）docker.properties 是 docker （7）我这里的Spark on YARN模式的安装，是master、slave1和slave2。（8）Spark on YARN模式的安装，其实，是必须要安装hadoop的。（9）为了管理，安装zookeeper，（即管理master、slave1和slave2）首先，说下我这篇博客的Spark on YARN模式的安装情况我的安装分区如下，3台都一样。关于如何关闭防火墙我这里不多说，请移步 hadoop 50070 无法访问问题解决汇总关于如何配置静态ip和联网我这里不多说，我的是如下，请移步 CentOS 6.5静态IP的设置（NAT和桥接联网方式都适用...

2017-11-13

563

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。