Spark SQL概念学习系列之Spark SQL是什么？（一）-低调大师

Spark SQL概念学习系列之Spark SQL是什么？（一）

2017-11-02 660

不多说，直接上干货！　　

　　Spark SQL提供在大数据上的SQL查询功能，类似于Shark在整个生态系统的角色，它们可以统称为SQL on Spark。之前，Shark的查询编译和优化器依赖于Hive，使得Shark不得不维护一套Hive分支，而Spark SQL使用Catalyst做查询解析和优化器，并在底层使用Spark作为执行引擎实现SQL的Operator。用户可以在Spark上直接书写SQL，相当于为Spark扩充了一套SQL算子，这无疑更加丰富了Spark的算子和功能，同时Spark SQL不断兼容不同的持久化存储（如HDFS、 Hive等），为其发展奠定广阔的空间。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5723919.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371247

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Spark Streaming的优点

Apache Spark Streaming的优点：　（1）优势及特点 1）多范式数据分析管道：能和 Spark 生态系统其他组件融合，实现交互查询和机器学习等多范式组合处理。 2）扩展性：可以运行在 100 个节点以上的集群，延迟可以控制在秒级。 3）容错性：使用 Spark 的 Lineage 及内存维护两份数据进行备份达到容错。 RDD通过 Lineage 记录下之前的操作，如果某节点在运行时出现故障，则可以通过冗余备份数据在其他节点重新计算得到。对于 Spark Streaming 来说，其 RDD 的 Lineage 关系如图 3 所示，图中的每个长椭圆形表示一个 RDD，椭圆中的每个圆形代表一个 RDD 中的一个分区（Partition），图中的每一列的多个 RDD 表示一个 DStream（图中有 3 个 DStream）， t=1 和 t=2 代表不同的分片下的不同 RDD DAG。图中的每一个 RDD 都是通过 Lineage 相连接形成了 DAG，由于 SparkStreaming 输入数据可以来自于磁盘，例如 HDFS（通常由三份副本）也可以来...

2017-11-03

625

1：KafKa的官方网址：http://kafka.apache.org/ 开发流程图，如： 2：KafKa的基础知识： 2.1：kafka是一个分布式的消息缓存系统2.2：kafka集群中的服务器都叫做broker2.3：kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接2.4：kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载2.5：每一个分区都可以有多个副本，以防止数据的丢失2.6：某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新2.7：消费者可以分组，比如有两个消费者组A和B，共同消费一个topic：order_info,A和B所消费的消息不会重复比如 order_info 中有100个消息，每个消息有一个id,编号从0-99，那么，如果A组消费0-49号，B组就消费50-99号2.8：消费者在具体消费某个topic中的消息时，可以指定起始偏移量 3：KafKa集群的安装搭建，注意区分单...

2017-11-03

619

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。