地铁译：Spark for python developers --- 搭建Spark虚拟环境3
在VirtualBox 上建Ubantu虚机，安装Anaconda，Java 8，Spark，IPython Notebook，以及和Hello world 齐名的wordcount 例子程序。 搭建Spark 环境 本节我们学习搭建 Spark环境: 在Ubuntu 14.04的虚拟机上创建隔离的开发环境，可以不影响任何现存的系统 安装 Spark 1.3.0 及其依赖. 安装Anaconda Python 2.7 环境包含了所需的库 例如Pandas, Scikit-Learn, Blaze, and Bokeh, 使用PySpark, 可以通过IPython Notebooks访问 在我们的环境中搭建后端或数据存储，使用MySQL作为关系型数据库；MongoDB作文档存储；Cassandra 作为列存储数据库。 根据所需处理数据的需要，每种存储服务于不同的特殊目的。MySQL RDBMs可以使用SQL轻松地完成表信息查询；如果我们处理各种API获得的大量JSON类型数据, 最简单的方法是把它们存储在一个文档里；对于实时和时间序列信息，Cassandra 是最合适的列存储数据库. 下图给出了我们将要构建的环境视图 将贯穿本书的使用: 在Oracle VirtualBox 搭建Ubuntu 搭建一个运行Ubuntu 14.04的virtualbox环境是搭建开发环境最安全的办法，可以避免与现存库的冲突，还可以用类似的命令将环境复制到云端。 为了搭建Anaconda和Spark的环境,我们要创建一个运行Ubuntu 14.04的virtual box虚拟机. 步骤如下: 1. Oracle VirtualBox VM从 https://www.virtualbox.org/wiki/Downloads 免费下载，径直安装就可以了. 2. 装完 VirtualBox,打开Oracle VM VirtualBox Manager，点击按钮New. 3. 给新的VM指定一个名字, 选择Linux 类型和Ubuntu(64 bit)版本. 4. 需要从Ubuntu的官网下载ISO的文件分配足够的内存(4GB推荐) 和硬盘(20GB推荐).我们使用Ubuntu 14.04.1 LTS版本,下载地址: http://www.ubuntu.com/download/desktop. 5. 一旦安装完成, 就可以安装VirtualBox Guest Additions了 (从VirtualBox 菜单,选择新运行的VM) Devices|Insert Guest Additions CD image. 由于windows系统限制了用户界面，可能会导致安装失败. 6. 一旦镜像安装完成,重启VM,就已经可用了.打开共享剪贴板功能是非常有帮助的。选择VM点击 Settings, 然后General|Advanced|Shared Clipboard 再点击 Bidirectional. 安装Anaconda的Python 2.7版本 PySpark当前只能运行在Python 2.7(社区需求升级到Python 3.3)，安装Anaconda, 按照以下步骤: 1. 下载 Linux 64-bit Python 2.7的Anaconda安装器 http://continuum.io/downloads#all. 2. 下载完Anaconda 安装器后, 打开 terminal进入到它的安装位置.在这里运行下面的命令, 在命令中替换2.x.x为安装器的版本号: #install anaconda 2.x.x #bash Anaconda-2.x.x-Linux-x86[_64].sh 3. 接受了协议许可后, 将让你确定安装的路径 (默认为 ~/anaconda). 4. 自解压完成后, 需要添加 anaconda 执行路径到 PATH 的环境变量: # add anaconda to PATH bash Anaconda-2.x.x-Linux-x86[_64].sh 安装 Java 8 Spark运行在 JVM之上所以需要安装Java SDK而不只是JRE, 这是我们构建spark应用所要求的. 推荐的版本是Java Version 7 or higher. Java 8 是最合适的, 它包安装 Java 8, 安装以下步骤: 1. 安装 Oracle Java 8 使用的命令如下: # install oracle java 8 $ sudo apt-get install software-properties-common $ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java8-installer 2. 设置 JAVA_HOME 环境变量,保证Java 执行程序在PATH中. 3. 检查JAVA_HOME 是否被正确安装: # $ echo JAVA_HOME 安装 Spark 首先浏览一下Spark的下载页 http://spark.apache.org/downloads. html. 它提供了多种可能来下载Spark的早期版本，不同的分发包和下载类型。 我们选择最新的版本. pre-built for Hadoop 2.6 and later. 安装 Spark 的最简方法是使用 Spark package prebuilt for Hadoop 2.6 and later, 而不是从源代码编译，然后 移动 ~/spark 到根目录下。下载最新版本 Spark—Spark 1.5.2, released on November 9, 2015: 1. 选择Spark 版本 1.5.2 (Nov 09 2015), 2. 选择包类型 Prebuilt for Hadoop 2.6 and later, 3. 选择下载类型 Direct Download, 4. 下载spark: spark-1.5.2-bin-hadoop2.6.tgz, 5. 验证 1.3.0 签名校验，也可以运行: # download spark $ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-hadoop2.6.tgz 接下来, 我们将提取和清理文件: #extract,clean up,move the unzipped files under the spark directory $ rm spark-1.5.2-bin-hadoop2.6.tgz $ sudo mv spark-* spark 现在，我们能够运行 Spark 的 Python 解释器了: # run spark $ cd ~/spark ./bin/pyspark 应该可以看到类似这样的效果: 解释器已经提供了一个Spark context 对象, sc, 我们可以看到: >>>print(sc) <pyspark.context.SparkContext object at 0x7f34b61c4e50> 使用 IPython Notebook IPython Notebook 比控制台拥有更更友好的用户体验. 可以使用如新命令启动IPython Notebook: $ IPYTHON_OPTS="notebook --pylab inline" ./bin/pyspark 在目录 examples/AN_Spark，启动PySpark和IPYNB或者在Jupyter或 IPython Notebooks 的安装目录启动: # cd to /home/an/spark/spark-1.5.0-bin-hadoop2.6/examples/AN_Spark $ IPYTHON_OPTS='notebook' /home/an/spark/spark-1.5.0-bin-hadoop2.6/bin/ pyspark --packages com.databricks:spark-csv_2.11:1.2.0 #launch command using python 3.4 and the spark-csv package: $ IPYTHON_OPTS='notebook' PYSPARK_PYTHON=python3 /home/an/spark/spark-1.5.0-bin-hadoop2.6/bin/pyspark --packages com.databricks:spark-csv_2.11:1.2.0 构建在 PySpark上的第一个应用 我们已经检查了一切工作正常,将word count 作为本书的第一个实验是义不容辞的: # Word count on 1st Chapter of the Book using PySpark import re # import add from operator module from operator import add # read input file file_in = sc.textFile('/home/an/Documents/A00_Documents/Spark4Py 20150315') # count lines print('number of lines in file: %s' % file_in.count()) # add up lengths of each line chars = file_in.map(lambda s: len(s)).reduce(add) print('number of characters in file: %s' % chars) # Get words from the input file words =file_in.flatMap(lambda line: re.split('\W+', line.lower(). strip())) # words of more than 3 characters swords = words.filter(lambda x: len(x) > 3) # set count 1 per word words = words.map(lambda w: (w,1)) # reduce phase - sum count all the words words = words.reduceByKey(add) 在这个程序中, 首先从目录 /home/an/ Documents/A00_Documents/Spark4Py 20150315 中读取文件到 file_in. 然后计算文件的行数以及每行的字符数. 我们把文件拆分成单词并变成小写。 为了统计单词的目的, 我们选择多于三个字符的单词来避免象 the, and, for 这样的高频词. 一般地, 这些被认为是停词，应该被语言处理任务过滤掉 . 在该阶段，我们准备了 MapReduce 步骤，每个单词 map 为值1， 计算所有唯一单词的出现数量. 这是IPython Notebook中的代码描述. 最初的 10 cells是在数据集上的单词统计预处理 数据集在本地文件中提取. 以(count, word)格式交换词频统计元组是为了把count作为元组的key 进行排序 : # create tuple (count, word) and sort in descending words = words.map(lambda x: (x[1], x[0])).sortByKey(False) # take top 20 words by frequency words.take(20) 未来显示结果, 我们创建(count, word) 元组来以逆序显示词频出现最高的20个词: 生成直方图: # create function for histogram of most frequent words % matplotlib inline import matplotlib.pyplot as plt # def histogram(words): count = map(lambda x: x[1], words)m word = map(lambda x: x[0], words) plt.barh(range(len(count)), count,color = 'grey') plt.yticks(range(len(count)), word) # Change order of tuple (word, count) from (count, word) words = words.map(lambda x:(x[1], x[0])) words.take(25) # display histogram histogram(words.take(25)) 我们可以看到以直方图形式画出的高频词，我们已经交换了初识元组 (count, word) 为 (word, count): 所以,我们也已经回顾了本章所有的高频词 Spark, Data 和 Anaconda.
