混合云存储阵列与云存储网关的协同解决方案
- 前言
混合云存储阵列(CSA)于2017年云栖大会发布,上市2年多,已经被基因测序,医疗PACS,影视制作,非编,广电,视频监控等行业和场景的客户广泛采用。混合云存储阵列承载了用户的业务负载的同时,以缓存模式(90%的用户场景)将用户的数据上传到公共云OSS中。
云存储网关(CSG)于2019年6月商业化后,在线上和线下(95%是线上客户),也被众多基因测序,传媒影视制作和互联网客户所采用。
数据上云不是目的,只是用户混合云业务的前提。对于客户而言,如何将云上的数据最大程度的利用起来,是一个非常迫切的需求。云存储网关可以将数据同步到OSS中,混合云存储阵列集成了云存储网关,一个软件服务,一个硬件,这两个产品的组合方案,能解决客户什么样的问题呢?
- 存储阵列数据上云,存储网关数据分发、共享、再计算;
- 存储阵列用于生产,存储网关用于应急及研发测试;
- 存储网关云上备份归档数据到OSS,再通过存储阵列备份数据到线下;
- 存储阵列数据上云,存储网关数据分发再计算
下图就是一个典型的存储阵列与云存储网关协同解决用户数据上云,再分发,再计算的场景。以视频渲染制作公司为例,在主数据中心,混合云存储阵列承载了几十到上百人的团队的日常工作,包括剪辑,转码,调色,特效渲染,成片输出等工作。当一个项目完成阶段性里程碑时,会有一些素材和成片需要进入下一道工序:不管是将这部分数据交付给客户,或者是位于其他办公地点的下一个团队或同事,都可以通过混合云存储阵列将数据同步到OSS中。在远程办公地点部署的云存储网关,会通过极速同步功能,智能感知到位于上游团队交付的新素材,从而快速完成反向同步,随即开始下一道的流程和工序。
同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。
用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。
存储阵列数据上云,存储网关数据分发再计算架构图
同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。
用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。
- 存储阵列用于日常生产,存储网关用于应急突发情况
混合云存储阵列具备传统企业存储的特性,如高可用,高性能,安全可靠,同时,可以根据业务需求提供足够多的本地存储空间。因此,存储阵列在客户实际场景中,一般都是用于一些固定项目,负载普遍比较稳定。无论是前端负载,还是后端上云的带宽,都处在比较高的负载。如果再发生一些突发场景,例如:
- 一个团队的项目的交付需要紧急上云;
- 一个团队需要从云端下载一些之前归档的文件用于验证最近的开发与测试;
- 公司因为业务扩张,计划购买一台新的混合云存储阵列,正在等待预算和采购流程;
- 混合云存储阵列正在进行扩容或者维护,需要快速应急方案来保证正常的业务生产;
当客户遇到以上这些突发紧急情况的话,原本规划好的存储阵列不一定可以满足临时的需求。这个时候,可以在公共云上创建一个或者多个云存储网关来弹性支持业务需求。
存储阵列用于日常生产,存储网关用于突发应急业务
当创建云存储网关,支撑业务临时需求时,需要区分只是数据上云需求,还是需要将云上数据拉会到本地再应用。如果只是数据上云,存储网关即开即用,只需要规划好云存储网关缓存盘的大小和数量即可获得确定的上云性能。但如果是需要拉取云上的数据到本地的情况,取决于文件数目的多少,反向同步需要一定的时间。建议如果有数据下云的需求,在日常可以创建1-2个网关备用,时刻保证存储网关上的数据与OSS bucket内的数据保持一致。
- 存储网关归档备份数据到OSS,再通过存储阵列备份数据到线下
有很多混合云存储的客户,他们主要的业务系统是在云上,但他们有将数据备份到云下的需求。例如,有个客户运营着几十个数据库系统,每天进行一次备份,并将备份数据存储在OSS上。随着运营的数据库系统的数量的增多和重要性的增加,数据只备份一份已经不能满足业务需求。对这个客户而言,线下再备份一份数据就是一个合理的选择。基于混合云存储阵列的反向同步功能,用户能很方便的将OSS bucket与存储阵列的本地文件夹做关联,及时高效,安全可靠地将数据备份在存储阵列上。当数据需要恢复时,用户再将数据从线下的混合云存储阵列同步到OSS中,再将备份数据恢复到数据库中,完成数据的恢复流程。
存储网关归档备份数据到OSS,存储阵列备份数据到线下
- 总结
以上三个典型的混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。存储阵列与存储网关不同的是存储阵列具备企业级存储的特性与本地存储能力,而云存储网关主要是面向公共云客户的云服务,弹性,按需,灵活。两个产品在不同的客户需求下,可以互相搭配,高效协同地为客户解决线上到线下或者是线下到线上的混合云场景下的数据流动问题。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Linux 内核代码超 2780 万行,但去年 commit 数量锐减
2020 年 1 月 1 日,Linux 内核 Git 源码树中的代码达到了2780 万行。 phoronix 网站统计了 Linux 内核在进入 2020 年时的一些源码数据并作了总结,从统计数据来看,Linux 内核源码树共有 27 852 148 行(包括文档、Kconfig 文件、树中的用户空间实用程序等)、887 925 次commit 和大约 21 074 位不同的作者。2780 万行代码分布在 66 492 个文件中。 只看 2019 年,Linux 内核有 74754 次 commit,这是 2013 年以来的最低值。2017 年和 2018 年的 commit 次数都有8 万次,2016 年为 77 000 次,2014 年和 2015 年都有75 000 次。 除了 commit 数量少,去年的内核作者数量也降低了,2019 年大约有 4 189 位不同的 Linux 内核作者,这低于 2018 年的 4 362 位和 2017 年的 4 402 位。 不过虽然 commit 与作者数量都减少,但从代码行数来看,却是平均水平,去年共添加了 3 386 347 行新代...
- 下一篇
MyExcel 3.3.0.RELEASE 发布,规范增强 & BUG 修复
MyExcel,是一个集导入、导出、加密Excel等多项功能的Java工具包。 MyExcel采用声明式语法来构建、读取Excel,屏蔽POI的具体操作细节(对POI无感知),以开发常用的技术替代,使得构建(从简单到高度复杂Excel)以及读取Excel变得极为便利。 如导入: List<ArtCrowd> result = SaxExcelReader.of(ArtCrowd.class) .sheet(0) // 0代表第一个,如果为0,可省略该操作,也可sheet("名称")读取 .rowFilter(row -> row.getRowNum() > 0) // 如无需过滤,可省略该操作,0代表第一行 .beanFilter(ArtCrowd::isDance) // bean过滤 .read(path.toFile());// 另外,MyExcel一直在实际生产环境中使用,每天导出、读取Excel接近上亿数据,内存占用、抖动极低,足够应对绝大部分应用场景。 本次主要是对BUG修复以及规范增强,更新点如下: 1.修复子类属性覆盖父类属性BUG;...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Mario游戏-低调大师作品
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装