Spark 概念学习系列之Spark给我们带来了什么惊喜?(三)
Spark的一站式解决方案有很多的优势,具体如下。 (1)打造全栈多计算范式的高效数据流水线 Spark支持复杂查询。 在简单的“map”及“reduce”操作之外,Spark还支持SQL查询、流式计算、 机器学习和图算法。 同时,用户可以在同一个工作流中无缝搭配这些计算范式。 (2)轻量级快速处理 Spark 1.0核心代码只有4万行。 这是由于Scala语言的简洁和丰富的表达力,以及Spark充分利用和集成Hadoop等其他第三方组件,同时着眼于大数据处理,数据处理速度是至关重要的,Spark通过将中间结果缓存在内存减少磁盘I/O来达到性能的提升。 (3)易于使用,Spark支持多语言 Spark支持通过Scala、 Java及Python编写程序,这允许开发者在自己熟悉的语言环境下进行工作。它自带了80多个算子,同时允许在Shell中进行交互式计算。 用户可以利用Spark像书写单机程序一样书写分布式程序,轻松利用Spark搭建大数据内存计算平台并充分利用内存计算,实现海量数据的实时处理。 (4)与HDFS等存储层兼容 Spark可以独立运行,除了可以运行在当下...


