Spark SQL概念学习系列之Spark SQL是什么？（一）-低调大师

Spark SQL概念学习系列之Spark SQL是什么？（一）

2017-11-02 642

不多说，直接上干货！　　

　　Spark SQL提供在大数据上的SQL查询功能，类似于Shark在整个生态系统的角色，它们可以统称为SQL on Spark。之前，Shark的查询编译和优化器依赖于Hive，使得Shark不得不维护一套Hive分支，而Spark SQL使用Catalyst做查询解析和优化器，并在底层使用Spark作为执行引擎实现SQL的Operator。用户可以在Spark上直接书写SQL，相当于为Spark扩充了一套SQL算子，这无疑更加丰富了Spark的算子和功能，同时Spark SQL不断兼容不同的持久化存储（如HDFS、 Hive等），为其发展奠定广阔的空间。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5723919.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371247

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Spark Streaming的优点

Apache Spark Streaming的优点：　（1）优势及特点 1）多范式数据分析管道：能和 Spark 生态系统其他组件融合，实现交互查询和机器学习等多范式组合处理。 2）扩展性：可以运行在 100 个节点以上的集群，延迟可以控制在秒级。 3）容错性：使用 Spark 的 Lineage 及内存维护两份数据进行备份达到容错。 RDD通过 Lineage 记录下之前的操作，如果某节点在运行时出现故障，则可以通过冗余备份数据在其他节点重新计算得到。对于 Spark Streaming 来说，其 RDD 的 Lineage 关系如图 3 所示，图中的每个长椭圆形表示一个 RDD，椭圆中的每个圆形代表一个 RDD 中的一个分区（Partition），图中的每一列的多个 RDD 表示一个 DStream（图中有 3 个 DStream）， t=1 和 t=2 代表不同的分片下的不同 RDD DAG。图中的每一个 RDD 都是通过 Lineage 相连接形成了 DAG，由于 SparkStreaming 输入数据可以来自于磁盘，例如 HDFS（通常由三份副本）也可以来...

2017-11-03

611

1：KafKa的官方网址：http://kafka.apache.org/ 开发流程图，如： 2：KafKa的基础知识： 2.1：kafka是一个分布式的消息缓存系统2.2：kafka集群中的服务器都叫做broker2.3：kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接2.4：kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载2.5：每一个分区都可以有多个副本，以防止数据的丢失2.6：某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新2.7：消费者可以分组，比如有两个消费者组A和B，共同消费一个topic：order_info,A和B所消费的消息不会重复比如 order_info 中有100个消息，每个消息有一个id,编号从0-99，那么，如果A组消费0-49号，B组就消费50-99号2.8：消费者在具体消费某个topic中的消息时，可以指定起始偏移量 3：KafKa集群的安装搭建，注意区分单...

2017-11-03

599

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。