《Spark与Hadoop大数据分析》一一3.4　Spark 应用程序-低调大师

《Spark与Hadoop大数据分析》一一3.4　Spark 应用程序

2017-07-02 571

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.4节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.4　Spark 应用程序

让我们来了解 Spark Shell 和 Spark 应用程序之间的区别，以及如何创建和提交它们。
3.4.1　Spark Shell 和 Spark 应用程序
Spark 让你可以通过一个简单的、专门用于执行 Scala、Python、R 和 SQL 代码的 Spark shell 访问数据集。用户探索数据并不需要创建一个完整的应用程序。他们可以用命令开始探索数据，这些命令以后可以转换为程序。这种方式提供了更高的开发生产效率。Spark 应用程序则是使用 spark-submit 命令提交的带有 SparkConte

微信关注我们

原文链接：https://yq.aliyun.com/articles/117474

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Sentry成为新的Apache顶级项目

今天宣布Apache Sentry成为新的Apache顶级开源项目。Sentry为Hadoop集群元数据和数据存储提供集中、细粒度的访问控制。在2013年8月Sentry成为Apache的孵化项目，经过两年半的开发，开发社区增长很快，很多组织为其贡献代码，现已有50多个贡献者，其中31个成为committer。 Sentry是什么？ Hadoop在文件系统层面有强安全策略，但缺乏对数据和BI应用细粒度的权限访问支持。这个问题使得Hadoop使用者面临两种抉择：要么暴露全部数据，要么控制所有数据。大部分情况下，用户选择后者，这严重约束Hadoop集群上数据的访问。Sentry提供角色级别的数据权限访问，可以进行细粒度权限划分。例如，在HIve和Impala中，Sentry的SQL权限控制select、insert等语句对服务器、数据库、数据表、视图甚至数据列的访问。 Sentry新功能 Sentry对不同的Hadoop组件提供了六类对权限访问策略管理： Sentry支持多权限模型，也支持同一个权限控制策略对多哥计算框架和数据目录的访问； Sentry支持Apache Solr（搜索项目）...

2017-07-03

625

大数据时代，音乐界正迎来一场革命：下一首歌流行什么，听众说了算。昨天，记者从阿里音乐得到证实，阿里音乐正在开展一项尝试：将阿里音乐平台上的用户行为数据与社交网络数据、新闻资讯数据等结合，借助阿里云“数加”上的大数据工具，预测哪些音乐人会成为下一个音乐巨星。有猜测指出，这项技术同阿里音乐一直秘而不宣的新平台有密切联系。据阿里音乐的数据工程师介绍，用户在音乐平台上收听、分享、收藏音乐的行为，以及在社交网络、视频网站、贴吧论坛上做出关注、评论、转发、点赞等动作，反映了对音乐人的喜好程度。“我们用word2vector算法对关键词进行聚类，结合转发点赞等原始及衍生特征，通过gbdt分布式算法进行预测分析。寻找隐藏在其中的下一个TFboy”。不过，收集所有人的意见并做出判断，并非易事。阿里音乐的工程师透露，该项目仅每天要处理的阿里音乐平台数据就达到了100TB，更不用说海量的外部互联网数据。值得庆幸的是，大数据技术的飞跃发展为这一设想的实现提供了基础。在过去的5年里，全球大数据计算性能实现了超过21倍的提升。2011年，Tritonsort排序100TB数据需要8274秒；到2015年，...

2017-07-03

588

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。