MaxCompute 入门

2017-07-29 579 89

MaxCompute 入门

why

在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。

举个例子来说，当我们需要统计海量的数据时，常规的做法是我们要先搭建hadoop集群，启动ResourceManager，NodeManager，Namenode等组件，然后部署Hbase。接下来是导入数据到Hbase，最后开始设计并实现MapReduce或者Spark，Flink等job........可能很多人在第一步就已经从入门到放弃了

what

大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

MaxCompute 主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。

how

接下来就亲自实践一下官方给的bank的例子吧，如建表并导入数据
中提到的，先创建bank_data和result_data两个表，并导入数据。接下来我们创建工作流去统计不同学历的单身人士贷款买房的数量。直接cp示例sql后，首先弹出了如下对话框：

因为选择的是IO后付费，但不知为何预估费用没有显示，不管了，先运行看看，得到如下提示：

原因是未找到table,仔细看下左侧的ODPS表，原来还有个mihe_test的前缀，修改sql再试：

这次给出了预估费用

运行成功，我们在resu_table中也看到了结果

这种拖拽式真的很方便

PS:

貌似通过预估费用就可以预判出sql是否正确了？
在创建项目是随便写了个test，提示项目被占用了，但自己的项目列表里没有，后来发现，原来项目名称是全局的，最后加了个前缀解决了。从平台管理的角度来说要保证project name的唯一性无可厚非，但是从用户角度来看，自己的project应该就是在自己的域下面，不应该存在被占用的情况，所以是否可以考虑允许用户随意指定名称，只是管理的时候加个用户的域的前缀？

微信关注我们

原文链接：https://yq.aliyun.com/articles/149718

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-07-30 00:00:00

小白用户MaxCompute数据同步初体验

作为一个运营人员，工作中经常性地需要对大量业务数据进行分析，使用阿里云的MaxCompute可以非常方便的进行海量数据的处理。基于工作的特殊性，日常处理的都是CSV/TXT等碎片化的文件（比如用OSS存储的生产数据），如何将大文本文件写入到MaxCompute（原ODPS）是一件很头疼的事情。好在，阿里云大数据开发套件提供了非常强大的数据同步的工具。近期体验了一下阿里云的数据同步工具，发现非常简单易用，同时又十分强大。作为非技术同学，借助文档，基本实现了从OSS到ODPS以及从OSS到本地自建FTP的数据同步，期间也碰到了许多问题。本文主要介绍自己作为一个小白用户，在使用过程中遇到的问题以及解决办法。要解决的问题：OSS对象存储文件定时同步到ODPS 应用到的阿里云产品：OSS 数据同步组件 MaxCompute 1. 阿里云的数据同步为向导模式和脚本模式两种方式。向导模式是可视化操作，非常方便，不过有些类型的数据同步不支持。脚本模式通过Json脚本实现，功能更强大。OSS数据同步到ODPS，两种方式是均支持的。分为数据源读取、数据传输、写入目标数据三部分。具体操作，先添加数据源...

561

2017-07-31 00:00:00

MaxCompute数仓维护心得-五叶草

在维护客户基于MaxCompute搭建的数据仓库时，我们遇到过一些问题，踩过一些坑，同时积累了一些经验，也初步形成了一套操作流程规范，在这里与大家以Tip的形式与大家分享一下。 Tip1.避免同步视图同步的源数据要避免使用视图，在客户的生产环境上曾经出现过这样的情况：由于生成视图的存储过程优化不好，同步视图在同步任务发起请求后很久没有生成出来，导致同步任务及后续的ETL挂起达数小时之久，所以后续和数据提供方接洽，将数据源从视图换为表，保证在同步之前同步表里的内容已经更新。在测试环境下，通过修改数据集成中的同步任务实现数据源从视图切换成表。再确认不同的数据源的表数据结构完全一致之后，修改如下同步脚本中的table值为新的表名。由于在同步脚本里truncate字段为true，所以再次同步数据时该分区内的旧数据会被擦除，在修改之后可以直接

563

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。