MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云-低调大师

MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

2017-04-13 674

一，背景与概述

复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。
MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。在周边系统众多，业务场景复杂，海量数据存储和计算调度都是一个难题的情况下，需要保证大数据系统在灾难发生时能够尽快切换到备用系统服务，最小限度影响客户使用。
容灾系统及方案的建设有很多种方式，如同城双活，异地多活，冷备容灾等。MaxCompute大数据的容灾方案是在多年集团内部断网演练基础上，依据MaxCompute卓越具有前瞻性的设计形成的，选用了同城异地双活方案，并经过详细的系统修改及优化，部署测试，多轮演练，达到了客户现场输出的成熟度。
本文详细介绍了MaxCompute在专有云输出背景下依托现有技术及

微信关注我们

原文链接：https://yq.aliyun.com/articles/73703

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

创业公司如何做数据分析（四）ELK日志系统

作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非常繁琐，效率也很低，而且也没法进行统计和检索。因此，我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用：信息查找。通过检索日志信息，定位相应的bug，找出解决方案。服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。数据分析。如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息，比如根据请求中的商品id，找出TOP10用户感兴

2017-04-14

639

一、YARN的配置首先需要对YARN进行配置，使其支持Spark的Shuffle Service。修改每台集群上的yarn-site.xml： - 修改 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> 1 2 3 4 5 1 2 3 4 5 - 增加 <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <property> <name>spark.shuffle.service.port</n...

2017-04-14

540

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。