Spark(Python) 从内存中建立 RDD 的例子-低调大师

Spark(Python) 从内存中建立 RDD 的例子

2017-12-17 568

Spark(Python) 从内存中建立 RDD 的例子：

myData = ["Alice","Carlos","Frank","Barbara"]
myRdd = sc.parallelize(myData)
myRdd.take(2)

----
In [52]: myData = ["Alice","Carlos","Frank","Barbara"]

In [53]: myRdd = sc.parallelize(myData)

In [54]: myRdd.take(2)
17/09/24 02:40:10 INFO spark.SparkContext: Starting job: runJob at PythonRDD.scala:393
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Got job 5 (runJob at PythonRDD.scala:393) with 1 output partitions
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Final stage: ResultStage 5 (runJob at PythonRDD.scala:393)
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Parents of final stage: List()
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Missing parents: List()
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Submitting ResultStage 5 (PythonRDD[32] at RDD at PythonRDD.scala:43), which has no missing parents
17/09/24 02:40:10 INFO storage.MemoryStore: Block broadcast_16 stored as values in memory (estimated size 3.2 KB, free 1767.1 KB)
17/09/24 02:40:10 INFO storage.MemoryStore: Block broadcast_16_piece0 stored as bytes in memory (estimated size 2.2 KB, free 1769.3 KB)
17/09/24 02:40:10 INFO storage.BlockManagerInfo: Added broadcast_16_piece0 in memory on localhost:33950 (size: 2.2 KB, free: 208.7 MB)
17/09/24 02:40:10 INFO spark.SparkContext: Created broadcast 16 from broadcast at DAGScheduler.scala:1006
17/09/24 02:40:10 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from ResultStage 5 (PythonRDD[32] at RDD at PythonRDD.scala:43)
17/09/24 02:40:10 INFO scheduler.TaskSchedulerImpl: Adding task set 5.0 with 1 tasks
17/09/24 02:40:10 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 5.0 (TID 5, localhost, partition 0,PROCESS_LOCAL, 2028 bytes)
17/09/24 02:40:10 INFO executor.Executor: Running task 0.0 in stage 5.0 (TID 5)
17/09/24 02:40:11 INFO python.PythonRunner: Times: total = 41, boot = 20, init = 14, finish = 7
17/09/24 02:40:11 INFO executor.Executor: Finished task 0.0 in stage 5.0 (TID 5). 979 bytes result sent to driver
17/09/24 02:40:11 INFO scheduler.DAGScheduler: ResultStage 5 (runJob at PythonRDD.scala:393) finished in 0.423 s
17/09/24 02:40:11 INFO scheduler.DAGScheduler: Job 5 finished: runJob at PythonRDD.scala:393, took 0.648315 s
17/09/24 02:40:11 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 5.0 (TID 5) in 423 ms on localhost (1/1)
17/09/24 02:40:11 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 5.0, whose tasks have all completed, from pool
Out[54]: ['Alice', 'Carlos']

In [55]:

本文转自健哥的数据花园博客园博客，原文链接：http://www.cnblogs.com/gaojian/p/7587750.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/355562

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[Spark][Python]RDD flatMap 操作例子

RDD flatMap 操作例子： flatMap，对原RDD的每个元素(行)执行函数操作，然后把每行都“拍扁” [training@localhost ~]$ hdfs dfs -put cats.txt [training@localhost ~]$ hdfs dfa -cat cats.txt Error: Could not find or load main class dfa [training@localhost ~]$ hdfs dfs -cat cats.txt The cat on the mat The aardvark sat on the sofa mydata=sc.textFile("cats.txt") mydata.count() Out[14]: 2 mydata.take(2) Out[15]: [u'The cat on the mat', u'The aardvark sat on the sofa'] myflatdata=mydata.flatMap(lambda line: line.split(' ')) myflatdta.count...

2017-12-18

581

23.4.1.Nginx 监控 Web 服务器进程监控 Web 服务器端口监控 Web 服务器状态监控 SSL 证书监控，证书是否过期，证书连是否完整。状态监控指标： * 活动连接数 * 完成连接数 * 等待连接数 23.4.2.Redis 监控 Redis 进程监控 Redis 端口监控 Redis 状态监控监控指标要求 CPU 使用率内存使用率客户短连接数从服务器连接数 Key 数量监控过期 key 数量命令处理数量订阅频道数量 23.4.3.Rabbit 监控 RabbitMQ 监控指标客户端连接数据队列数量队列内存开销 exchanges 数量监控 23.4.4.Elasticsearch 监控 Elasticsearch 监控指标 23.4.5.数据库监控需求 MySQL 线程数 MySQL Slow日志 MySQL 节点 23.4.5.1.数据库监控指标 SQL查询缓存监控数据库线程数监控原文出处：Netkiller 系列手札本文作者：陈景峯转载请与作者联系，同时请务必标明文章原始出处和作者信息及本声明。

2017-12-18

567

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。