本节书摘来自华章出版社《循序渐进学Spark》一书中的第2章，第2.2节，作者 小象学院　杨　磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　Spark程序模型

下面给出一个经典的统计日志中ERROR的例子，以便读者直观理解Spark程序模型。

1）SparkContext中的textFile函数从存储系统（如HDFS）中读取日志文件，生成file变量。

scala> var file = sc.textFile("hdfs：//...")

2）统计日志文件中，所有含ERROR的行。

scala> var errors = file.filer(line=>line.contains("ERROR"))

3）返回包含ERROR的行数。

errors.count()

RDD的操作与Scala集合非常类似，这是Sp