开源SQL-on-Hadoop系统一览
引言
查询分析是大数据要解决的核心问题之一,而SQL作为查询分析中使用最简单、最广泛的的语言之一,必然而然的催生了许多支持在Hadoop上使用SQL的系统,这就是所谓的SQL-on-Hadoop系统,其中大众熟知的Hive就是最早的SQL-on-Hadoop系统。
经过若干年的发展,SQL-on-Hadoop系统已经百花齐放,按照架构划分这些系统大致可以分为以下几类:
- MapReduce架构系统:如Hive,这类系统是在MapReduce计算框架上封装了一个SQL语义层,在运行过程中把SQL转换为MapReduce程序来执行
- MPP架构系统:如Impala、Presto、Drill等,这类系统采用MPP(Massively Parallel Processing)架构,而非MapReduce
- 预计算系统:如Druid、Kylin等,这类系统
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
云HBase发布全文索引服务,轻松应对复杂查询
云HBase发布了“全文索引服务”功能,自2019年01月25日后创建的云HBase实例,可以在控制台免费开启此“全文索引服务”功能。使用此功能可以让用户在HBase之上构建功能更丰富的搜索业务,不再局限于KV简单查询,不再苦恼于设计各种rowkey,不再后怕日益变化的HBase复杂查询业务。“全文索引服务”为云HBase增强查询能力而设计,自动同步数据,用户只需重点关注如何使用强大的检索功能来丰富自己的业务架构。 为什么要增强HBase的检索能力 我们在使用HBase的时候都会面临一个问题,就是设计HBase的rowkey。可尽管我们工程师是多么的优秀,整理罗列了所有业务检索需求,并裁剪折中了这样那样的业务,缺依然不能设计一个全能的rowkey来满足各种业务查询需求。例如在某物流管理系统中,我们需要对收件人姓名/手机/地址、寄件人姓
- 下一篇
SpringBoot-Security-用户权限分配-项目搭建
官网地址:https://docs.spring.io/spring-boot/docs/2.1.x/reference/htmlsingle/ SpringBoot原则是约定优于配置,简化spring应用开发,去繁从简,产品级别的应用。 SpringBoot有哪些优点1、快速创建独立运行的spring项目与主流框架集成 2、使用嵌入式的servlet容器,应用无需打包成war包 3、starters自动依赖与版本控制 4、大量的自动配置,简化开发,也可修改默认值 5、准生产环境的运行应用监控 6、与云计算的天然集成 在使用spring boot之前,搭建一个spring web项目需要的步骤:1、配置web.xml,加载spring和spring mvc2、配置数据库连接、配置spring事务3、配置加载配置文件的读取,开启注解4、配置日志文件... Spring发展阶段 第一阶段:xml配置在Spring1.x时代,使用Spring开发满眼都是xml配置的Bean,随着项目的扩大,我们需要把xml配置文件放到不同的配置文件里,那时需要频繁的在开发的类和配置文件之间进行切换 第二阶段...
相关文章
文章评论
共有0条评论来说两句吧...