MaxCompute(原ODPS）的概念

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万级作业规模。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。(官方文档有这里就不多做介绍了)
官方文档链接

优势

用户不必关心分布式计算细节，从而达到分析大数据的目的。

应用场景

大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。

MaxCompute（原ODPS）的架构

MaxCompute由四部分组成，分别是客户端 (ODPS Client)、接入层 (ODPS Fro

微信关注我们

原文链接：https://yq.aliyun.com/articles/79704

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-05-10 00:00:00

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制

背景使用过hadoop的人基本都会考虑集群里面资源的调度和优先级的问题，假设你现在所在的公司有一个大hadoop的集群，有很多不同的业务组同时使用。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？目前一些使用EMR的大公司，会使用一个比较大的集群，来共公司内部不同业务组的人共同使用，相对于使用多个小集群，使用大的集群一方面可以达到更高的最大性能，根据不同业务的峰谷情况来调度从而获得更高的资源利用里，降低总成本。另外一个方面，能够更好地在不同的业务组之间实现资源的共享和数据的流动。下面结合EMR集群，介绍一下如何进行大集群的资源quota管控。 yarn默认提供了两种调度规则

663

2017-05-11 00:00:00

基于大数据开发套件的增量同步策略

今天我们来讨论如何使用大数据开发套件进行增量同步。我们把需要同步的数据，根据数据写入后是否会发生变化，分为会变化的数据（人员表比如说，人员的状态会发生变化）和不会发生变化的数据（一般是日志数据）。针对这两种场景，我们需要设计不同的同步策略。这里以把业务RDS数据库的数据同步到MaxCompute为例做一些说明，其他的数据源的道理是一样的。根据等幂性原则（也就是说一个任务，多次运行的结果是一样的，这样才能支持重跑调度。如果任务出现错误，也比较容易清理脏数据），我每次导入数据都是导入到一张单独的表/分区里，或者覆盖里面的历史记录。本文的测试时间是2016-11-14，全量同步是在14号做的，同步历史数据到ds=20161113这个分区里。至于本文涉及的增量同步的场景，配置了自动调度，把增量数据在15号凌晨同步到ds=20161114的

601

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

阿里云大数据MaxCompute计算资源分布以及LogView分析优化