Spark之CASE...WHEN...THEN...的两种实现方式

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。
一种是将dataframe看成数据库中的表，即使用createOrReplaceTempView（）函数，之后利用数据库的CASE…WHTN…THEN进行操作。另一种方法是，利用pyspark.sql.functions的when().otherwise()函数。实例代码如下：

#载入包 from pyspark.sql import SparkSession from pyspark import SparkConf, SparkContext import pyspark.sql.functions as F #spark初始化 conf = SparkConf() APPNAME = 'spark_temporal_test' conf.set("spark.app.name", APPNAME) spark = SparkSession.builder.config(conf=conf).getOrCreate() #创建dataframe df = spark.createDataFrame([[1,'A'],[2,'B'],[3,'C'],[4,'C'],[5,'B'],[6,'A'],[7,'D'],\ [8,'A'],[9,'B'],[10,'C'],[11,'C'],[12,'B'],[13,'A'],[14,'D'],\ [15,'A'],[16,'B'],[17,'C'],[18,'C'],[19,'B'],[20,'']],['id','split']) df = df.withColumn('rand', F.rand(1)) #CASE WHEN的实现1 df = df.withColumn('mod_val_test1',F.when(df['rand'] <= 0.35,1).when(df['rand'] <= 0.7, 2).otherwise(3)) #CASE WHEN的实现2 df.createOrReplaceTempView("temp") df= spark.sql("""select *, case when rand <= %s then 1 when rand <= %s then 2 else 3 end as mod_val_test2 from temp"""%(0.35,0.7)) #输出，查看结果 print(df.show())

运行结果如下：

---

本次分享到此结束，欢迎大家交流与批评~~