[Spark][Python][Application]非交互式运行Spark Application 的例子-低调大师

[Spark][Python][Application]非交互式运行Spark Application 的例子

2017-12-10 711

非交互式运行Spark Application 的例子

$ cat Count.py

  
 
import sys
 from pyspark import SparkContext
if __name__ == "__main__":
sc = SparkContext()
 logfile = sys.argv[1]
count = sc.textFile(logfile).filter(lambda line: '.jpg' in line).count()
 print "JPG requests: ", count
sc.stop()

  
 

$

$ spark-submit --master yarn-client Count.py /test/weblogs/*

Number of JPG requests: 10258
$

本文转自健哥的数据花园博客园博客，原文链接：http://www.cnblogs.com/gaojian/p/7749427.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/354901

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【X-Pack解读】阿里云Elasticsearch X-Pack 机器学习组件功能详解

X-Pack Machine Learning 数据复杂多变，当出现基础设施问题、入侵者或业务问题时，几乎不可能利用规则或通过人工监视仪表板发现问题。阿里云Elaticsearch的X-Pack引入了机器学习功能machine learning，可以实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等。从而更快地发现问题、简化问题根源分析、降低误报率。透过数据表象借助机器学习功能，Elasticsearch能够机敏地迅速回答 “上周各小时每秒请求数量是多少？” 等诸如此类的问题，并实时地将结果可视化。但是要想更加深入地询问 “有无异常？” 和 “这是什么原因导致的？”。您可以在如下场景中尝试机器学习功能。 IT 运维发现应用请求数量异常降低，然后深入探究导致异常的问题服务器。安全性分析发现异常网络活动或用户行为，趁

2017-12-10

706

[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"} {"name":"Brayden","age":30,"pcode":"94304"} {"name":"Carla","age":19,"pcoe":"10036"} {"name":"Diana","age":46} {"name":"Etienne","pcode":"94104"} $pyspark sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleRDD = peopleDF.rdd peopleRDD.take(5) [Row(age=None, name=u'Alice', pcode=u'94304', pcoe=None), Row(age=30, name=u'Brayden', pcode=u'94304', pcoe=None),...

2017-12-10

581

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。