《Spark与Hadoop大数据分析》一一3.4　Spark 应用程序-低调大师

《Spark与Hadoop大数据分析》一一3.4　Spark 应用程序

2017-07-02 552

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.4节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.4　Spark 应用程序

让我们来了解 Spark Shell 和 Spark 应用程序之间的区别，以及如何创建和提交它们。
3.4.1　Spark Shell 和 Spark 应用程序
Spark 让你可以通过一个简单的、专门用于执行 Scala、Python、R 和 SQL 代码的 Spark shell 访问数据集。用户探索数据并不需要创建一个完整的应用程序。他们可以用命令开始探索数据，这些命令以后可以转换为程序。这种方式提供了更高的开发生产效率。Spark 应用程序则是使用 spark-submit 命令提交的带有 SparkConte

微信关注我们

原文链接：https://yq.aliyun.com/articles/117474

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Sentry成为新的Apache顶级项目

今天宣布Apache Sentry成为新的Apache顶级开源项目。Sentry为Hadoop集群元数据和数据存储提供集中、细粒度的访问控制。在2013年8月Sentry成为Apache的孵化项目，经过两年半的开发，开发社区增长很快，很多组织为其贡献代码，现已有50多个贡献者，其中31个成为committer。 Sentry是什么？ Hadoop在文件系统层面有强安全策略，但缺乏对数据和BI应用细粒度的权限访问支持。这个问题使得Hadoop使用者面临两种抉择：要么暴露全部数据，要么控制所有数据。大部分情况下，用户选择后者，这严重约束Hadoop集群上数据的访问。Sentry提供角色级别的数据权限访问，可以进行细粒度权限划分。例如，在HIve和Impala中，Sentry的SQL权限控制select、insert等语句对服务器、数据库、数据表、视图甚至数据列的访问。 Sentry新功能 Sentry对不同的Hadoop组件提供了六类对权限访问策略管理： Sentry支持多权限模型，也支持同一个权限控制策略对多哥计算框架和数据目录的访问； Sentry支持Apache Solr（搜索项目）...

2017-07-03

607

大数据时代，音乐界正迎来一场革命：下一首歌流行什么，听众说了算。昨天，记者从阿里音乐得到证实，阿里音乐正在开展一项尝试：将阿里音乐平台上的用户行为数据与社交网络数据、新闻资讯数据等结合，借助阿里云“数加”上的大数据工具，预测哪些音乐人会成为下一个音乐巨星。有猜测指出，这项技术同阿里音乐一直秘而不宣的新平台有密切联系。据阿里音乐的数据工程师介绍，用户在音乐平台上收听、分享、收藏音乐的行为，以及在社交网络、视频网站、贴吧论坛上做出关注、评论、转发、点赞等动作，反映了对音乐人的喜好程度。“我们用word2vector算法对关键词进行聚类，结合转发点赞等原始及衍生特征，通过gbdt分布式算法进行预测分析。寻找隐藏在其中的下一个TFboy”。不过，收集所有人的意见并做出判断，并非易事。阿里音乐的工程师透露，该项目仅每天要处理的阿里音乐平台数据就达到了100TB，更不用说海量的外部互联网数据。值得庆幸的是，大数据技术的飞跃发展为这一设想的实现提供了基础。在过去的5年里，全球大数据计算性能实现了超过21倍的提升。2011年，Tritonsort排序100TB数据需要8274秒；到2015年，...

2017-07-03

570

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。