首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/166766

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark与Hadoop大数据分析》一一3.3 Spark 程序的生命周期

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.3节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3 Spark 程序的生命周期 以下步骤讲解了配备 Standalone 资源管理器的 Spark 应用程序的生命周期,图3-8 显示了Spark程序的调度过程: (1)用户使用 spark-submit 命令提交一个 Spark 应用程序。(2)spark-submit 在同一节点(客户端模式)或集群(集群模式)上启动驱动进程,并调用由用户指定的 main 方法。(3)驱动进程联系集群管理器,根据提供的配置参数来请求启动执行进程 JVM 所需的资源。(4)集群管理器在工作机节点上启动执行进程 JVM。(5)驱动进程扫描用户应用程序。根据程序

Apache Sentry成为新的Apache顶级项目

今天宣布Apache Sentry成为新的Apache顶级开源项目。Sentry为Hadoop集群元数据和数据存储提供集中、细粒度的访问控制。在2013年8月Sentry成为Apache的孵化项目,经过两年半的开发,开发社区增长很快,很多组织为其贡献代码,现已有50多个贡献者,其中31个成为committer。 Sentry是什么? Hadoop在文件系统层面有强安全策略,但缺乏对数据和BI应用细粒度的权限访问支持。这个问题使得Hadoop使用者面临两种抉择:要么暴露全部数据,要么控制所有数据。大部分情况下,用户选择后者,这严重约束Hadoop集群上数据的访问。Sentry提供角色级别的数据权限访问,可以进行细粒度权限划分。例如,在HIve和Impala中,Sentry的SQL权限控制select、insert等语句对服务器、数据库、数据表、视图甚至数据列的访问。 Sentry新功能 Sentry对不同的Hadoop组件提供了六类对权限访问策略管理: Sentry支持多权限模型,也支持同一个权限控制策略对多哥计算框架和数据目录的访问; Sentry支持Apache Solr(搜索项目)...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。