『 Spark 』5. 这些年，你不能错过的 spark 学习资源-低调大师

『 Spark 』5. 这些年，你不能错过的 spark 学习资源

2016-05-09 735 89

写在前面

本系列是综合了自己在学习spark过程中的理解记录＋对参考文章中的一些理解＋个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。

其次，本系列是基于目前最新的 spark 1.6.0 系列开始的，spark 目前的更新速度很快，记录一下版本好还是必要的。
最后，如果各位觉得内容有误，欢迎留言备注，所有留言 24 小时内必定回复，非常感谢。
Tips: 如果插图看起来不明显，可以：1. 放大网页；2. 新标签中打开图片，查看原图哦。

1. 书籍

2. 网站

official site
user mailing list
spark channel on youtube
spark summit
meetup
spark third party packages
databricks blog
databricks docs.html)
databricks training/Introduction%20(README).html)
cloudera blog about spark
https://0x0fff.com
http://techsuppdiva.github.io/
csdn spark 知识库
过往记忆

3. 文章，博客

4. 视频

5. next

上面的资源我都会不断更新的，里面 80% 以上的都是我亲自看过并且觉得有价值的，可不是胡乱收集一通的，推荐欣赏哦。

6. 打开微信，扫一扫，点一点，棒棒的，^_^

本系列文章链接

微信关注我们

原文链接：https://yq.aliyun.com/articles/40653

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark-SparkSql

SparkSql 允许spark执行sql语句，hivesql,scala的描述的基于关系的查询。其实是封装了新的RDD-SchemaRDD，由行对象组成，有一个模式描述每列的数据类型。SchemaRDD与关系型数据库的表很相似，可以通过存在的RDD/Parquet文件/Json文件/用Hive中的数据HiveSql创建。其中相关功能入口是SQLContext()及其子类。如HiveContext可以用HiveQL分析器查询访问HiveUDFs的能力、从Hive中读取数据。SparkSQL的数据源相关操作可以通过SchemaRDD接口来操作，可以是被当作一般的RDD，也可以注册成临时表，在上面进行sql查询。有两种创建SchemaRDD的方式，一是已经知道了模式，基于反射推断。二是不知道模式，采取实现接口方法，构造一个模式。 //指定模式 val schema = StructType("name age".split(',').map(fieldName=>StructField(fieldName,StringType,true))) vak rowRdd = sc.te...

589

Hadoop Join

Hadoop 中的join分为三种 Reduce端join，适合于两个大表 Map端join，适合一个大表和一个小表，小表放到 Distribute Cache里面 semi join 当join只用到其中一个表中的一小部分时 Reduce端join 读入两个大表，对value按文件进行标记在Reduce端收集属于不同文件的value到不同的list，对同一key的不同list中的value做笛卡尔积 Logger 用来记录错误 Counter 用来记数想要的一些数据 configuration context用来传递数据 public class ReduceJoin { private static final String DELIMITER = "\\s+"; private static final Logger LOG = Logger.getLogger(ReduceJoin.class); public static class JoinMapper extends Mapper<Object, Text, Text, Text> { @Override ...

571

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。