MaxCompute2.0新功能介绍-低调大师

MaxCompute2.0新功能介绍

2018-10-21 808

摘要：在过去的两年内，MaxCompute进行了翻天覆地的重构，从1.0版本全面升级到了2.0版本。而大家或许对于MaxCompute 2.0的一些新特性并不了解，在本文中，MaxCompute技术专家秋鹏就为大家详细介绍MaxCompute 2.0的新特性。

本文主要围绕以下三个方面进行分享：
MaxCompute 2.0简介
MaxCompute 2.0 vs 1.0
MaxCompute 2.0 vs 竞品

一、MaxCompute 2.0简介

MaxCompute之所以要进行重构是因为MaxCompute 1.0上存在很多问题，在MaxCompute 2.0的概念提出前，MaxCompute就已经在线上服务内部和外部用户一段时间了，并且也获得了一些积极的反馈。但是MaxCompute 1.0中也存在一些问题需要解决，这些问题大概分为两

微信关注我们

原文链接：https://yq.aliyun.com/articles/656158

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源大数据周刊-第103期

资讯谷歌正式发布数据可视化工具Data Studio Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。 Redis 5.0 正式发布，slave 术语已遭删除 Redis 5.0 GA 正式版发布了！ “监管科技3.0“：大数据监管如此运作证监会监管科技3.0的核心就是要建设一个运转高效的监管大数据平台，综合运用电子预警、统计分析、数据挖掘等技术，围绕资本市场主要生产和业务活动，进行全方位监控和历史数据分析，辅助监管人员及时发现市场主体涉嫌内幕交易、市场操纵等违法违规行为。”张野说。技术 F1 Query: Declarative Querying at Scale 距离 Google 的上一篇 F1 论文，也就是 F1: A Dist

2018-10-22

571

title: Spark Parquet file splitdate: 2018-10-22 20:14:43 tags: Spark 在实际使用 spark + parquet 的时候, 遇到一个问题:我们只有一个 parquet 文件, 但是有四个 tasks, 但是只有一个 task 处理了全部的数据.这就牵涉到对于 parquet, spark 是如何来进行切分 partitions, 以及每个 partition 要处理哪部分数据先说结论, spark 中, parquet 是 splitable 的, 代码见ParquetFileFormat#isSplitable. 那会不会把数据切碎? 答案是不会, 因为是以 row group 为最小单位切分的, 这也导致一些 partitions 会没有数据. 处理流程 1.根据 parquet 按文件大小切块生成 partitions: 在 FileSourceScanExec#createNonBucketedReadRDD 中, 如果文件是 splitable 的 , 按照 maxSplitBytes 把文件切分, 最后生...

2018-10-22

669

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。