为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪-低调大师

为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪

2017-07-20 705

1 为什么要按列存储

列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：

Ø Row-based storage stores atable in a sequence of rows.

Ø Column-based storage storesa table in a sequence of columns.

下面来看一个例子：

从上图可以很清楚地看到，行式存储下一张表的数据都是放在一起的，但列式存储下都被分开保存了。所以它们就有了如下这些优缺点：

行式存储

列式存储

优点

Ø 数据被保存在一起

Ø INSERT/UPDATE容易

Ø

微信关注我们

原文链接：https://yq.aliyun.com/articles/136468

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。接下来我们一个一个的谈： from 这个操作是在解析过程中就完成了，目的就是找出输入的表(文件)。 join(left join, right join, inner join, outer join ,semi join) 这个操作需要在参与map和reduce整个阶段。下图给出了各个阶段的数据输入输出变化：假如执行这个SQL：select student_id, s

2017-07-20

697

只要做过大数据的都知道，市面上大家用的技术非常的多。用于基础部分的hadoop，hive，spark 等，编程语言有python，r，java，scala，sql 等。而涉及到真正的大数据处理，就需要hadoop集群和hive集群。而这些，让非常多的公司在面对大数据的时候，望而却步。相信绝大部分公司在这些技术面前的表情是这样的。是否有一种方式可以让公司快速完成大数据的存储而又不用关心数据的安全问题？是否有一种方式可以让公司不需要建立一个高成本的运维团队？是否有一种方式可以让公司不需要平衡多种技术之间的数据互联互通？是否有一种方式可以让公司的大数据分析人员更加专注于数据本身？是否有一种方式可以让公司大数据技术体系快速而完整的搭建起来？是否有一种方式可以让各种算法的差异降到最低？是否有一种方式可以让大家就别写那么多代码了，直接拖拖拽拽完成算法的目标？是否有一种方式可以让公司完成以上目标，而只用很少的投入？如果你有这些疑虑，那么恭喜你，今天就有这样的一个产品，能够帮你完成以上所有的目的，那就是我们今天的主角“数加 · MaxCompute”。数据处理部分，是基于hi...

2017-07-20

863

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。