【公测中】阿里云发布国内首个大数据双活容灾服务,满足高要求大数据灾备场景
在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测。HDR-BD采用业界领先的数据双向实时复制技术,可以实现Hadoop集群双活和准0 RPO容灾,为大数据灾备制定了全新的标准。
常见Hadoop灾备技术的挑战
当前比较常见的Hadoop集群灾备方式是用distcp将数据定期复制到一个备用集群做容灾用途,或者将数据复制到只读集群、二级存储作为多恢复点的备份。这些方案都有明显弱点。
RPO和RTO是衡量灾备方案的两个重要指标,RPO-恢复点目标,决定了丢失多少数据,RTO-恢复时间目标,决定了业务中断了多长时间。由于传统的Hadoop集群灾备方式使用的是distcp来做容灾,也就意味着数据复
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
流式计算
从spark 说起,谈谈“流式”计算的理解 spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念: 并行计算 Map Reduce 算子 RDD数据结构 并行计算 spark的任务分为1个driver、多个executor。程序启动driver,driver发送执行的程序(jar)到executor,executor在多台机器并行执行。driver和executor可以理解为进程,像httpd一样,完成某些任务,接受并发送数据的进程。 不同的spark任务都需要分配driver、executor。此时,还需要提供资源管理的应用,包括计算资源和内存资源的。 我们采用YARN作为spark资源管理系统,Mesos是另一个资源管理框架。 YARN Map Reduce 算子 大数据与并行计算的最大区别,我认为就在map reduce算子上。 并行计算更喜欢做“关门打狗”的应用,高度并行,线程之间不做交互,例如口令破译,造表等。 spark中,用transform 和 action代替map Reduce操作。transform...
- 下一篇
阿里云的技术创新,不是简单的路线之争
根据Gartner 2017年全球公有云IaaS市场份额报告,全球前三甲已无悬念:AWS、微软与阿里云,紧随阿里云后面的是Google和IBM。在竞争激烈的以公有云为代表的下一代全球企业IT市场,终于不再是IOE一统江山的局面,阿里云把一抺中国红带入了全球视野。而且,还很可能是永远性的,因为2016年Gartner这份报告中还统计了14家厂商,到了2017年就只剩6家! 全球公有云IaaS前五大家都是自研技术的代表,而阿里云的自研技术亦不逊色于其它四大家。在到底是自研还是直接使用外部现有技术这两条路线之争中,阿里云最终选择的是走自主研发道路。然而,自研技术这条道路并不是阿里云自己求来的,而是在阿里自身业务发展过程中,随着业务规模的不断扩大而被倒逼出来的。在这个过程中,突破了现有技术的天花板。 所以,不是阿里云要抛弃传统IT架构,而是传统IT架构无法承载阿里云的规模;也不是阿里云刻意不用现成的技术,而是这些技术也无法承载阿里云的规模;这些都是2009年写下第一行代码时的阿里云工程师们所想像不到的。当“一花一世界”不再是比喻,而是一朵花就变成一个世界那么大时,该怎么办?可以说,今天的阿里云...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群