Spark学习之Spark SQL（8）

Spark学习之Spark SQL（8）

1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、

2. Spark SQL的三大功能

2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。 2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询，也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器（JDBC/ODBC）连接Spark SQL进行查询。 2.3 当在Spark程序内使用Spark SQL时，Spark SQL支持SQ与常规的Python/Java/Scala代码高度整合，包括连接RDD与SQL表、公开的自定义SQL函数接口等。 

3. SchemaRDD（1.3版本后为DataFrame）是存放Row对象的RDD，每个Row对象代表一行记录。SchemaRDD还包含记录的结果信息（即数据字段）。

4. 连接Spark SQL

带有Hive支持的Spark SQL的Maven索引 

 groupID =org.apache.spark artifactID = spark-hive_2.10 version = 1.2.0

5. 在应用使用Spark

5.1 初始化Spark 

 //Sacla中SQL的import的声明 import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.SQLContext //Scala中SQL导入隐式转换支持 val hiveCtx = ...//创建HiveContext import hiveCtx._//导入隐式转换支持 //创建SQL上下文环境 val sc = new SparkContext(...) val hiveCtx = new HiveContext(sc)

5.2 基本的查询示例 

 val input = hiveCtx.jsonFile(inputFile) //注册输入的SchemaRDD input.registerTempTable("tweets") //依据tetwwtCount（转发计算）宣传推文 val topTweeter = hiveCtx.sql("SELECT text,retweetCount FROM tweets ORDER BY retweetCount LIMIT 10")

6. 用户自定义函数(UDF)

Scala版本的字符串长度UDF 

 registerFunction("strLenScala",(_:string).length) val tweetLength = hiveCtx.sql("SELECT strLenScala('tweet') FROM tweets LIMIT 10")