首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/p/lemon-cleaner

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 一文讲透 HDFS 的 delegation token

【背景】 前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导致任务失败,继而触发任务的重试,但接连重试几次都是失败的,并且任务的日志也没有聚合,导致无法分析问题失败的原因。最后发现是和delegation token有关,本文就来总结下相关的原理。 【原理】 1. 什么是delegation token 先简单描述下为什么需要delegation token。在开启kerberos之后,服务之间交互前,都需要先向KDC认证获取对应的票据。而在一个yarn任务运行过程中可能会产生很多任务container,每个这样的任务container都可能会访问hdfs,由于访问前需要先获取票据来进行认证,那么这个时候KDC就很容易成为性能瓶颈。delegation token(委派token)就是为了减少不必要的认证工作而出现的。 2.delegation token在任务提交运行过程中的使用 任务提交运行过程中,delegation to...

诉讼成功,Debian 从喷子手中取回

被逐出 Debian 社区之后,开发者 Daniel Pocock 一直在使用“debian.community”域名批评 Debian 项目及其成员。因此,Debian 项目、Debian 瑞士代表组织Debian.ch ,以及非营利组织 SPI 联合向世界知识产权组织(WIPO) 提起了诉讼,想要取回该域名的控制权。 7 月 19 日,知识产权组织决定支持该诉讼,并下令Daniel 转让域名。 Daniel Pocock 曾是 Fedora 和 Debian 的软件包维护者,但因强加代码、社区干预,以及“某些促进社会正义运动的积极分子”等问题与 Debian 社区成员发生了冲突,随后开始 debian.community 站点上批评 Debian 及其社区成员,言论较为激烈,甚至出现了人身攻击。 比如 Daniel 曾对 Debian 社区成员 Molly de Blan 作出批评。在他看来,Molly 打着宣传社区行为准则(COC)的幌子骚扰那些不同意她观点的人,并试图引导/控制社区成员的行为。(此前我们报道了数千人联名要求罢免 RMS 和整个 FSF 董事会,而 Molly 正...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。