[Spark][Python][Application]非交互式运行Spark Application 的例子-低调大师

[Spark][Python][Application]非交互式运行Spark Application 的例子

2017-12-10 640

非交互式运行Spark Application 的例子

$ cat Count.py

  
 
import sys
 from pyspark import SparkContext
if __name__ == "__main__":
sc = SparkContext()
 logfile = sys.argv[1]
count = sc.textFile(logfile).filter(lambda line: '.jpg' in line).count()
 print "JPG requests: ", count
sc.stop()

  
 

$

$ spark-submit --master yarn-client Count.py /test/weblogs/*

Number of JPG requests: 10258
$

本文转自健哥的数据花园博客园博客，原文链接：http://www.cnblogs.com/gaojian/p/7749427.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/354901

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【X-Pack解读】阿里云Elasticsearch X-Pack 机器学习组件功能详解

X-Pack Machine Learning 数据复杂多变，当出现基础设施问题、入侵者或业务问题时，几乎不可能利用规则或通过人工监视仪表板发现问题。阿里云Elaticsearch的X-Pack引入了机器学习功能machine learning，可以实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等。从而更快地发现问题、简化问题根源分析、降低误报率。透过数据表象借助机器学习功能，Elasticsearch能够机敏地迅速回答 “上周各小时每秒请求数量是多少？” 等诸如此类的问题，并实时地将结果可视化。但是要想更加深入地询问 “有无异常？” 和 “这是什么原因导致的？”。您可以在如下场景中尝试机器学习功能。 IT 运维发现应用请求数量异常降低，然后深入探究导致异常的问题服务器。安全性分析发现异常网络活动或用户行为，趁

2017-12-11

631

[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"} {"name":"Brayden","age":30,"pcode":"94304"} {"name":"Carla","age":19,"pcoe":"10036"} {"name":"Diana","age":46} {"name":"Etienne","pcode":"94104"} $pyspark sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleRDD = peopleDF.rdd peopleRDD.take(5) [Row(age=None, name=u'Alice', pcode=u'94304', pcoe=None), Row(age=30, name=u'Brayden', pcode=u'94304', pcoe=None),...

2017-12-11

515

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。