关于Web界面查看日志的权限问题
关于Web界面查看日志的权限问题
@(Hadoop)
访问集群的8088端口,通过web ui查看作业日志时,发现没有权限查看,8088主界面右上角显示Logged in as : dr.who,即匿名用户。
修改core-site.xml,添加以下内容:
<property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value> </property> <property> <name>hadoop.http.authentication.type</name> <value>simple</value> </property> <property> <name>hadoop.http.authentication.token.validity</name> <value>3600</value> </property> <property> <name>hadoop.http.authentication.signature.secret.file</name> <value>/usr/local/bigdata/hadoop/hadoop-http-auth-signature-secret</value> </property> <property> <name>hadoop.http.authentication.cookie.domain</name> <value></value> </property> <property> <name>hadoop.http.authentication.simple.anonymous.allowed</name> <value>false</value> </property>
在对应目录下创建hadoop-http-auth-signature-secret文件并写入用户名,重启集群,匿名用户无法访问8088端口了,在url后面添加
?user.name=用户名
即可查看。
1.22更新
发现之前的路子绕了一个圈,虽然能够正常查看日志,但是每次都要加上user.name参数,这个安全机制是可以有的,但是我原本的目的很简单,就是可以方便的查看日志信息,所以这些配置是可以不需要的,只要在hdfs-site.xml中加入:
<property> <name>dfs.permissions</name> <value>false</value> </property>
重启集群即可,注意:使用hdfs dfsadmin -refreshNodes无法刷新配置。
另注,HDFS的回收站配置
免得误删了文件找不回来了,在core-site.xml中配置:
<property> <name>fs.trash.interval</name> <value>4320</value> </property>
单位是分钟,这里配置的是三天:3*24*60
详细的参数说明请参考:
http://www.iteblog.com/archives/988
作者:@小黑
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Spark on Yarn年度知识整理
大数据体系结构: Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。其底层采用Scala这种函数式语言书写而成,并且所提供的API深度借鉴Scala函数式的编程思想,提供与Scala类似的编程接口 Spark on Yarn 从用户提交作业到作业运行结束整个运行期间的过程分析。 一、客户端进行操作 1、根据yarnConf来初始化yarnClient,并启动yarnClient 2、创建客户端Application,并获取Application的ID,进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源,如果不满足则抛出IllegalArgumentException; 3、设置资源、环境...
- 下一篇
hive (基于hadoop的数据仓库)
1.简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。 与传统关系数据库相比的优势是:能够处理海量数据。 劣势是:它只提供查询功能,不能增、删、改。涉及到分布式计算的任务分发,查询时间在分钟级,不能当实时工具用。 运行机理:将sql语句转换为MapReduce任务,让Hadoop处理。 2.查询语句 hive //此命令打开hive的CLI(Command Line Interface)。 show databases;//查询所有的数据库名称。 use db_name;//进入hive后是默认的DB,此命令切换到指定的DB。 show tables;//查询当前db下的所有表的名称。 show tables 'ad*';//查询以'ad'开头的表名。 describe table_name;//查看指定表的结构。 select * from table limit 50;//限制返回结果数,与mysql不同,不能使用 limit from,end 这种形式。 3.执行过程 查询开始后控制台会输出一个URL,用于w...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Mario游戏-低调大师作品
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装