《Spark大数据分析实战》——3.1节SQL on Spark-低调大师

《Spark大数据分析实战》——3.1节SQL on Spark

2017-05-01 794

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.1节SQL on Spark，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.1　SQL on Spark
AMPLab将大数据分析负载分为三大类型：批量数据处理、交互式查询、实时流处理。而其中很重要的一环便是交互式查询。大数据分析栈中需要满足用户ad-hoc、reporting、iterative等类型的查询需求，也需要提供SQL接口来兼容原有数据库用户的使用习惯，同时也需要SQL能够进行关系模式的重组。完成这些重要的SQL任务的便是Spark SQL和Shark这两个开源分布式大数据查询引擎，它们可以理解为轻量级Hive SQL在Spark上的实现，业界将该类技术统称为SQL on Hadoop。
在Spark峰会2014上，Datab

微信关注我们

原文链接：https://yq.aliyun.com/articles/108576

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一个purge参数引发的惨案——从线上hbase数据被删事故说起

一个purge参数引发的惨案——从线上hbase数据被删事故说起在写这篇blog前，我的心情久久不能平静，虽然明白运维工作如履薄冰，但没有料到这么一个细小的疏漏会带来如此严重的灾难。这是一起其他公司误用puppet参数引发的事故，但是这个参数我也曾被“坑过”。先说说这起事故，在周二下午，安静了一天的某个技术交流群，突然有个惊慌失措的同学在群里说，他拿第三方的puppet hbase module来管理线上hbase集群，结果这个模块在管理数据文件夹时，使用了一个purge参数把几乎所有的线上数据都删完了。他已经和领导汇报了情况，那边正在紧急讨论处理方案。他在做好打包走人的准备的同时，仍抱有一丝希望来询问我们有没有办法恢复数据，大家纷纷为他献计献策... 我就想起两年前，我第一次尝试使用puppet-apache模块管理apache服务，apache::init类中默认设置了purge_configs参数为True，导致我把apache目录下的所有vhost文件删掉了，万幸的是我是在开发环境发现了这个问题。那么，我们来看看这个“邪恶”的purge参数是什么样子的： file {...

2017-05-02

545

2.3　独特的云特性对DevOps的影响云影响DevOps的3个独特特性是简单地创建和切换环境的能力；轻松创建虚拟机的能力，以及数据库的管理。我们首先讨论环境。 2.3.1　环境在我们的上下文中，环境是足够执行软件系统的一组计算资源，包括所有支持软件、数据集、网络通信，以及执行软件系统所需定义的外部实体。这个定义的关键点是：除了明确定义的外部实体外，环境是自包含的。一个环境通常独立于其他环境。在第5章中，我们会看到一些环境，例如开发、集成、用户测试，以及生产环境。在第12章的案例研究中，环境的生命周期是其部署流水线的一部分。在开发、测试和部署过程的各阶段有多个环境并不是云独有的特性，但简单地创建和迁移环境的能力是云独有的特性——像克隆新实例一样容易。通过使环境之间没有可修改的共享资源来实现一个环境与另一个环境的隔离。只读资源，例如各

2017-05-02

669

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。