首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4061399/blog/5558871

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一文讲透hdfs的delegation token

【背景】 前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导致任务失败,继而触发任务的重试,但接连重试几次都是失败的,并且任务的日志也没有聚合,导致无法分析问题失败的原因。最后发现是和delegation token有关,本文就来总结下相关的原理。 【原理】 1. 什么是delegation token 先简单描述下为什么需要delegation token。在开启kerberos之后,服务之间交互前,都需要先向KDC认证获取对应的票据。而在一个yarn任务运行过程中可能会产生很多任务container,每个这样的任务container都可能会访问hdfs,由于访问前需要先获取票据来进行认证,那么这个时候KDC就很容易成为性能瓶颈。delegation token(委派token)就是为了减少不必要的认证工作而出现的。 2.delegation token在任务提交运行过程中的使用 任务提交运行过程中,delegation to...

DevSecOps,让速度和安全兼顾

长期以来,传统的开发实践一直将安全性和合规性分开,但 DevSecOps 将安全性集成到 DevOps 软件开发生命周期的每个阶段。该方法不仅节省了资金和繁琐的手动任务时间,而且显著降低了在软件最终构建后发现关键安全漏洞的风险。 供应链风险渐增,DevSecOps 备受关注 随着越来越多的企业采用云技术和数字化转型,其面临的数字威胁和整体风险也越来越高。Anchore 发布的《 2021 软件供应链安全报告》显示,38% 的高级容器用户表示,容器化应用程序比传统应用程序风险更大。因为它们通常会带来多个开源 (OSS) 或第三方依赖项,从而产生新的软件供应链风险。 因此,大多数现代企业都在思考,如何构建符合安全预期的产品和服务,如何制定安全流程以及其他风险管理解决方案。正如该报告调查结果显示,60% 的受访者已将保护软件供应链作为 2022 年的首要举措。 DevSecOps 被认为是快速、安全地构建软件的最有效方法之一。它意味着,在软件开发生命周期 (SDLC) 中,不管是开发团队,还是安全团队,亦或者是运营团队,都要尽早解决安全问题。 如果将安全性留到软件开发过程的最后,或者软件部署...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册