Spark DataFrame按某列降序排序

我的原创地址：https://dongkelun.com/2018/07/04/sparkDfSortDesc/

前言

本文总结如何将DataFrame按某列降序排序，因为Spark默认的排序方式为升序，而降序的用法和java语言等又不一样，所以需要特地总结记录一下其用法。

1、创建测试用DataFrame

val data = Array((7, 2, 3), (1, 8, 6), (4, 5, 9)) val df = spark.createDataFrame(data).toDF("col1", "col2", "col3") df.show()

+----+----+----+ |col1|col2|col3| +----+----+----+ | 7| 2| 3| | 1| 8| 6| | 4| 5| 9| +----+----+----+

2、默认的升序排序效果(按col2排序，以下都是)

df.orderBy("col2").show()

+----+----+----+ |col1|col2|col3| +----+----+----+ | 7| 2| 3| | 4| 5| 9| | 1| 8| 6| +----+----+----+

3、降序方法一

df.orderBy(-df("col2")).show

+----+----+----+ |col1|col2|col3| +----+----+----+ | 1| 8| 6| | 4| 5| 9| | 7| 2| 3| +----+----+----+

这个方法在前面加上负号-即可，看起来挺简单的，但是其实这种方法不能在第一次构建df的时候进行排序，必须先创建好一个df，再用创建好的df生成新的df。

4、降序方法二

下面的方法和方法一是一样的

df.orderBy(df("col2").desc).show

+----+----+----+ |col1|col2|col3| +----+----+----+ | 1| 8| 6| | 4| 5| 9| | 7| 2| 3| +----+----+----+

5、降序方法三

import org.apache.spark.sql.functions._ df.orderBy(desc("col2")).show

+----+----+----+ |col1|col2|col3| +----+----+----+ | 1| 8| 6| | 4| 5| 9| | 7| 2| 3| +----+----+----+

这种方法是我比较喜欢的，因为在第一次创建的时候就可以排序了，且使用起来也很简洁。
可以使用下面的代码测试一下

spark.createDataFrame(data).toDF("col1", "col2", "col3").orderBy(desc("col2")).show

• 注：上面导入的包，在spark-shell里执行的时候是不需要的

6、降序方法四

下面的方法和方法三是一样的，由于结果一样，就不贴上了

df.orderBy(-col("col2")).show 

7、降序方法五

下面的方法和方法四是一样的，由于结果一样，就不贴上了

df.orderBy(col("col2").desc).show

8、sort函数

sort函数和orderBy用法和结果是一样的，因为orderBy和sql语法里的order by名字一样，所以我首先想到这个方法，就把orderBy放在前面介绍了（sort比orderBy短一点哈~）

df.sort(desc("col2")).show

附录

package com.dkl.leanring.spark.df import org.apache.spark.sql.SparkSession object DfSortDesc { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("DfSortDesc").master("local").getOrCreate() val data = Array((7, 2, 3), (1, 8, 6), (4, 5, 9)) val df = spark.createDataFrame(data).toDF("col1", "col2", "col3") //打印 df df.show() // 默认的升序 df.orderBy("col2").show() //降序方法一 df.orderBy(-df("col2")).show //降序方法二同上 df.orderBy(df("col2").desc).show import org.apache.spark.sql.functions._ //降序方法三 df.orderBy(desc("col2")).show //测试方法三 spark.createDataFrame(data).toDF("col1", "col2", "col3").orderBy(desc("col2")).show //降序方法四 df.orderBy(-col("col2")).show //降序方法五 df.orderBy(col("col2").desc).show //sort函数和orderBy用法和结果是一样的 df.sort(desc("col2")).show spark.stop() } }

参考资料

Spark-SQL之DataFrame操作大全
在Apache Spark 2.0中使用DataFrames和SQL