Yarn 日志存储配置
我们知道,yarn上能够监控运行的spark情况,但是一个程序运行完后就会被销毁,看不到了。
所以我们需要在程序运行完也能看到日志,这是就需要配置我们的参数了
1.进入spark conf下,拷贝一个spark.defaults.conf文件修改参数
spark.eventLog.enabled true //将日志持久化存储下来展示
spark.eventLog.dir hdfs://bjcdh:8021/dir //日志存放地址
2. 修改spark.env.sh 参数
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bjcdh:8021/dir -DSpark.history.ui.port=7777" //指定读取路径和端口
3.启动日志监控,进入到sbin/ 运行 ./start-history-server.sh
运行之后会提示输出一个.out的日志文件,使用tail -f 命令查看日志中最后面提到的启动地址,浏览器中输入这个地址可看到运行的和未运行的。
例如地址http://hadoop001:7777
4.另外还有些参数需要我们自己设置
spark.history.fs.update.interval 10s //每10s去刷新一次看有没有更新
spark.history.fs.cleaner.enabled true //自动清理器 清理日志
spark.history.fs.cleaner.interval 1d //每隔一台清理一次
spark.history.fs.cleaner.maxAge 7d //清理7天之前的日志
这些都是生产环境需要设置的一些参数。用来排查程序挂掉的日志信息。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
几种主流NoSQL数据库大比拼
在HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中,本文将主要对它们进行分析对比。 鉴于缺乏项目中的实战经验沉淀,本文内容和观点主要还是从各平台资料搜罗汇总,也不会有太多深入或底层原理探讨。 本文所引用的资料来源将示于本文尾部。所汇总的内容仅供参考,若有异议望指正。 HBase HBase 是 Apache Hadoop 中的一个子项目,属于 bigtable 的开源版本,所实现的语言为Java(故依赖 Java SDK)。HBase 依托于 Hadoop 的 HDFS(分布式文件系统)作为最基本存储基础单元。 HBase在列上实现了 BigTable 论文提到的压缩算法、内存操作和布隆过滤器。HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来访问数据,也可以通过REST、Avro或者Thrift的API来访问。 1. 特点 1.1 数据格式 HBash 的数据存储是基于列(ColumnFamily)的,且非常松散—— 不同于传统的关系型数据库(RDBMS),HBase 允许表下某行某列值为空时不做任...
- 下一篇
亿级流量电商系统多级缓存架构
亿级流量电商系统多级缓存架构 Redis基础 数据类型String hash list set zset java操作Redis redis的RDB和AOF两种持久化机制 Redis Transcation Redis高级 redis企业级数据备份 Lua脚本与redis抢红包实战案例 redis的读写分离架构应对高并发请求 redis哨兵架构 redis容灾策略 redis如何在保持主从复制和高可用架构 redis 集群的动态增删节点 Kafka +Storm + Zookeeper + flume整合 Kafka体系结构、存储策略、分区、发布与订阅 Kafka 整合zookeeper协调管理 java scala操作kafka Flume和Storm与Kafka整合 Storm集群构建、配置文件以及常见问题解决 Storm分组策略以及常用组件和第一个Storm实例 Storm整合消息队列、Storm Trident以及整合Hadoop2.x kafka+ehcache+redis开发缓存数据生产服务 Nginx + Lua 流量数据实时上报 Strom + Kafka开发实时...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,CentOS7官方镜像安装Oracle11G
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Red5直播服务器,属于Java语言的直播服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 2048小游戏-低调大师作品
- Mario游戏-低调大师作品
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果