MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云-低调大师

MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

2017-04-13 640 89

一，背景与概述

复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。
MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。在周边系统众多，业务场景复杂，海量数据存储和计算调度都是一个难题的情况下，需要保证大数据系统在灾难发生时能够尽快切换到备用系统服务，最小限度影响客户使用。
容灾系统及方案的建设有很多种方式，如同城双活，异地多活，冷备容灾等。MaxCompute大数据的容灾方案是在多年集团内部断网演练基础上，依据MaxCompute卓越具有前瞻性的设计形成的，选用了同城异地双活方案，并经过详细的系统修改及优化，部署测试，多轮演练，达到了客户现场输出的成熟度。
本文详细介绍了MaxCompute在专有云输出背景下依托现有技术及

微信关注我们

原文链接：https://yq.aliyun.com/articles/73703

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-04-14 00:00:00

创业公司如何做数据分析（四）ELK日志系统

作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非常繁琐，效率也很低，而且也没法进行统计和检索。因此，我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用：信息查找。通过检索日志信息，定位相应的bug，找出解决方案。服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。数据分析。如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息，比如根据请求中的商品id，找出TOP10用户感兴

605

2017-04-14 00:00:00

Spark on yarn 动态资源配置

一、YARN的配置首先需要对YARN进行配置，使其支持Spark的Shuffle Service。修改每台集群上的yarn-site.xml： - 修改 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> 1 2 3 4 5 1 2 3 4 5 - 增加 <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <property> <name>spark.shuffle.service.port</n...

511

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。