Spark history-server 配置！运维人员的强大工具-低调大师

Spark history-server 配置！运维人员的强大工具

2017-11-19 576

spark history Server产生背景

　　以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录；

　　Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，那么在Application执行结束后，WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息；

　　Spark运行在yarn或者mesos之上，通过spark的history server仍然可以重构出一个已经完成的Application的运行时参数信息（假如Application运行的事件日志信息已经记录下来）；

spark history Server的配置

　1. 在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.conf
　　 mv spark-defaults.conf.template spark-defaults.conf 　

spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ ls
bin data examples licenses NOTICE README.md work
CHANGES.txt derby.log lib logs python RELEASE
conf ec2 LICENSE metastore_db R sbin
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ cd conf/
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ ls
docker.properties.template metrics.properties.template spark-env.sh
fairscheduler.xml.template slaves
log4j.properties.template spark-defaults.conf.template
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ mv spark-defaults.conf.template spark-defaults.conf
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ ls
docker.properties.template metrics.properties.template spark-env.sh
fairscheduler.xml.template slaves
log4j.properties.template spark-defaults.conf
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$

2. 对spark-defaults.conf 配置

spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ vim spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir hdfs://SparkSingleNode:9000/historyserverforSpark
spark.history.ui.port            18080
spark.history.fs.logDirectory    hdfs://SparkSingleNode:9000/historyserverforSpark

3.启动history-server

spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ cd ..
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ sbin/start-history-server.sh
starting org.apache.spark.deploy.history.HistoryServer, logging to /usr/local/spark/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-spark-org.apache.spark.deploy.history.HistoryServer-1-SparkSingleNode.out
failed to launch org.apache.spark.deploy.history.HistoryServer:
full log in /usr/local/spark/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-spark-org.apache.spark.deploy.history.HistoryServer-1-SparkSingleNode.out
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ jps
6816 Jps
3876 Worker
6772 HistoryServer
3174 NameNode
5990 CoarseGrainedExecutorBackend
3703 Master
3453 SecondaryNameNode
3293 DataNode
5887 SparkSubmit
spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$

4、spark-env.sh

5.在web浏览器中查看http://SparkSingleNode:18080/ 显示页面

1.6.0 History Server

Event log directory: hdfs://Master:9000/historyserverforSpark

成功！

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5922165.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370837

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用云主机做 ssh 反向隧道

【背景】有三台主机 A、S、B，系统均为Linux。主机 A 和主机 B 在各自不同的内网，主机 S 为一台具有公网 IP 的云主机。主机 A 与主机 B 都可以通过 ssh 连接主机 S。如下图：【需求】主机 A 需要通过主机 S 连接主机 B。【方法】 1、设置主机 S。 1.1、编辑/etc/ssh/sshd_config 文件，在里面修改或添加： 1 GatewayPortsyes 1.2、重启 sshd 服务。 1 sudo servicesshdrestart 2、设置主机 B。 2.1、方式一：用 ssh 1 2 3 4 ssh -fNRportS:localhost:22userS@pubIpS #portS是主机S的某个开放端口 #userS是主机S的一个用户 #pubIpS是主机S的公网IP 2.2、方式二：用 autossh 1 2 3 autossh-M3456-NRportS:localhost:22userS@pubIpS-p22 #-M参数没大弄明白，大概是通过这个端口监听以便自动重连吧 #输入密码后可以用Ctrl-Z放到后台 3、主机 A 通过 ...

2017-11-20

628

故障现象：安全组已增加端口，IIS里已安装FTP服务。在ECS上通过浏览器进行FTP方式进行外网IP访问时，可以连接，但弹出没有文件夹访问权限的提示。在外网进行FTP连接，则直接无法访问。说明：1、ECS上弹出权限提示，是因为浏览器方式访问是被动模式，需要用FTP软件或其他IDE自带的FTP功能，并设置为主动模式才可以正常连接。2、外网无法访问是防火墙里的FTP流入规则默认指定了限SVCHOST.EXE程序通过，但FTP连接需要其他程序的参与。解决方法：在防火墙里增加一条FTP流入规则，除程序那项外，其他的都跟默认的相同，程序这里修改为：所有符合指定条件的程序。注：条件改宽了，可能会有一定的安全隐患，慎用。同时，从安全角度考虑，同时应修改掉默认的FTP端口，采用其他端口进行FTP连接。其他与ECS的FTP连接有关的资料汇总：ECS Windows 搭建的FTP在外网无法连接和访问https://help.aliyun.com/knowledge_detail/40914.html?spm=5176.7842540.2.6.LpRssg 云服务器 ECS Windows Serve...

2017-11-20

953

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。