为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪-低调大师

为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪

2017-07-20 635

1 为什么要按列存储

列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：

Ø Row-based storage stores atable in a sequence of rows.

Ø Column-based storage storesa table in a sequence of columns.

下面来看一个例子：

从上图可以很清楚地看到，行式存储下一张表的数据都是放在一起的，但列式存储下都被分开保存了。所以它们就有了如下这些优缺点：

行式存储

列式存储

优点

Ø 数据被保存在一起

Ø INSERT/UPDATE容易

Ø

微信关注我们

原文链接：https://yq.aliyun.com/articles/136468

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。接下来我们一个一个的谈： from 这个操作是在解析过程中就完成了，目的就是找出输入的表(文件)。 join(left join, right join, inner join, outer join ,semi join) 这个操作需要在参与map和reduce整个阶段。下图给出了各个阶段的数据输入输出变化：假如执行这个SQL：select student_id, s

2017-07-21

632

只要做过大数据的都知道，市面上大家用的技术非常的多。用于基础部分的hadoop，hive，spark 等，编程语言有python，r，java，scala，sql 等。而涉及到真正的大数据处理，就需要hadoop集群和hive集群。而这些，让非常多的公司在面对大数据的时候，望而却步。相信绝大部分公司在这些技术面前的表情是这样的。是否有一种方式可以让公司快速完成大数据的存储而又不用关心数据的安全问题？是否有一种方式可以让公司不需要建立一个高成本的运维团队？是否有一种方式可以让公司不需要平衡多种技术之间的数据互联互通？是否有一种方式可以让公司的大数据分析人员更加专注于数据本身？是否有一种方式可以让公司大数据技术体系快速而完整的搭建起来？是否有一种方式可以让各种算法的差异降到最低？是否有一种方式可以让大家就别写那么多代码了，直接拖拖拽拽完成算法的目标？是否有一种方式可以让公司完成以上目标，而只用很少的投入？如果你有这些疑虑，那么恭喜你，今天就有这样的一个产品，能够帮你完成以上所有的目的，那就是我们今天的主角“数加 · MaxCompute”。数据处理部分，是基于hi...

2017-07-21

783

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。