【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景-低调大师

【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景

2018-07-31 682

在6月上旬举行的云栖大会上海峰会上，阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务（HDR for Big Data, 简称 HDR-BD），并已经在7月份开始邀测。HDR-BD采用业界领先的数据双向实时复制技术，可以实现Hadoop集群双活和准0 RPO容灾，为大数据灾备制定了全新的标准。

常见Hadoop灾备技术的挑战

当前比较常见的Hadoop集群灾备方式是用distcp将数据定期复制到一个备用集群做容灾用途，或者将数据复制到只读集群、二级存储作为多恢复点的备份。这些方案都有明显弱点。

RPO和RTO是衡量灾备方案的两个重要指标，RPO-恢复点目标，决定了丢失多少数据，RTO-恢复时间目标，决定了业务中断了多长时间。由于传统的Hadoop集群灾备方式使用的是distcp来做容灾，也就意味着数据复

微信关注我们

原文链接：https://yq.aliyun.com/articles/621022

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

流式计算

从spark 说起，谈谈“流式”计算的理解 spark是一个大数据分布式的计算框架，有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算，谈三个概念：并行计算 Map Reduce 算子 RDD数据结构并行计算 spark的任务分为1个driver、多个executor。程序启动driver，driver发送执行的程序（jar）到executor，executor在多台机器并行执行。driver和executor可以理解为进程，像httpd一样，完成某些任务，接受并发送数据的进程。不同的spark任务都需要分配driver、executor。此时，还需要提供资源管理的应用，包括计算资源和内存资源的。我们采用YARN作为spark资源管理系统，Mesos是另一个资源管理框架。 YARN Map Reduce 算子大数据与并行计算的最大区别，我认为就在map reduce算子上。并行计算更喜欢做“关门打狗”的应用，高度并行，线程之间不做交互，例如口令破译，造表等。 spark中，用transform 和 action代替map Reduce操作。transform...

2018-08-01

678

阿里云的技术创新，不是简单的路线之争

根据Gartner 2017年全球公有云IaaS市场份额报告，全球前三甲已无悬念：AWS、微软与阿里云，紧随阿里云后面的是Google和IBM。在竞争激烈的以公有云为代表的下一代全球企业IT市场，终于不再是IOE一统江山的局面，阿里云把一抺中国红带入了全球视野。而且，还很可能是永远性的，因为2016年Gartner这份报告中还统计了14家厂商，到了2017年就只剩6家！全球公有云IaaS前五大家都是自研技术的代表，而阿里云的自研技术亦不逊色于其它四大家。在到底是自研还是直接使用外部现有技术这两条路线之争中，阿里云最终选择的是走自主研发道路。然而，自研技术这条道路并不是阿里云自己求来的，而是在阿里自身业务发展过程中，随着业务规模的不断扩大而被倒逼出来的。在这个过程中，突破了现有技术的天花板。所以，不是阿里云要抛弃传统IT架构，而是传统IT架构无法承载阿里云的规模；也不是阿里云刻意不用现成的技术，而是这些技术也无法承载阿里云的规模；这些都是2009年写下第一行代码时的阿里云工程师们所想像不到的。当“一花一世界”不再是比喻，而是一朵花就变成一个世界那么大时，该怎么办？可以说，今天的阿里云...

2018-08-01

472

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。