企业数据上云构建数据湖的正确姿势
一、前言
在刚刚落幕的2019中国数据与存储峰会上,阿里云对象存储OSS(Object Storage Service)和业界专家一起探讨了《企业数据上云构建数据湖的正确姿势》。OSS作为非结构化数据存储池和数据湖底座,为双十一期间淘宝、天猫、支付宝等应用提供了如丝般顺滑的图片、视频体验,OSS基于多年支撑双一的上云经验,从“迁、存、稳、用”四个纬度总结了上云的正确姿势。
二、(迁)数据迁移之道:闪电立方
针对企业的非结构化数据,OSS提供两类迁移方案:
- 迁移服务。包括在线迁移服务、离线迁移(闪电立方设备)。
- 迁移工具。包括ossimport、ossutil、hdfs2oss4emr、OSS镜像回源。
数据迁移时,要基于容量、网络带宽选择合适的方案,同时要关注迁移数据的一致性。
2.1离线迁移(闪电立方设备)
当容量大、带宽小时,推荐离线迁移(闪电立方设备),它有3类设备:
- 闪电立方Mini。迁移数据量为40TB,无需占用机架空间。
- 闪电立方II。迁移数据量为100TB,占用3U机架空间。
- 闪电立方III型。迁移数据量为480TB,占用6U机架空间。
它们迁移的理论带宽都是20Gbps,采用AES-256加密方案,提供最大40:1的压缩能力,支持多种数据源,如NAS、FastDFS、HDFS等。
如2018年迁移115网盘时,因为数据量巨大、迁移时间短,所以选择了离线迁移的闪电立方设备形式。通过双方努力,仅仅45天就完成100PB的数据迁移,迁移完成后115科技总经理刘睿表示:“将基础设施托付给阿里云后,115科技团队得以集中精力,聚焦顶层设计,为用户提供更好的产品体验和服务。”
2.2在线迁移服务
在容量可控、带宽足够时,推荐使用在线迁移服务。当前,支持多种数据迁移方案:阿里云OSS间迁移、HTTP/HTTPS源迁移、七牛云迁移、腾讯云COS迁移、AWS S3迁移、AWS S3 Inventory 迁移、Azure Blob迁移、又拍云迁移、百度云BOS迁移、金山云KS3迁移、谷歌云GCP迁移、ECS数据到OSS的迁移、NAS数据到OSS的迁移。结合OSS的镜像回源功能,可以平滑迁移存量数据,实现业务不中断。
2.3迁移工具
除迁移服务外, OSS还提供迁移工具。容量小于30TB时,推荐使ossutil;容量大于30TB时,推荐使用ossimport,它支持丰富的数据源,可采用单机、多机模式部署,从而适应大规模的数据迁移。
迁移过程中,建议使用CRC64检查数据一致性;同时,可以查看日志、并对比源和目的对象列表,确认迁移完备度。
三、(存)安全存储之道:安全白皮书
数据迁移上云后,就可以参考OSS的安全白皮书做好安全存储工作。实施过程,包括认证、授权、加密、日志监控。
3.1认证
阿里云访问控制RAM(Resource Access Management)认证体系支持云账号(例如邮箱登陆控制台)、RAM用户 (典型如使用Access Key用于开发)、临时安全令牌STS(Security Token Service)、单点登录SSO(Single Sign On)、OAuth认证,以及对象存储OSS的签名URL认证机制。
SSO支持和微软的AD(Active Directory)、Google G Suite、Okta等对接,从而可以使用企业现有的AD账号登陆阿里云。
3.2授权
OSS支持三种授权模式:
- RAM策略授权。基于用户,配置访问资源的策略。
- Bucket策略授权。基于桶资源,配置单用户、多用户、IP的访问策略。
- ACL,分为桶ACL和对象ACL。可以选择设置公共读写、公共读&私有写、私有读写、默认权限(继承桶ACL)。
3.3加密
OSS提供两大类加密方式,服务端加密SSE(Server-Side Encryption)和客户端加密CSE(Client-Side Encryption)。
服务端加密,又分为如下种类:
- SSE-OSS使用OSS完全托管加密,OSS负责对象加密、解密的密钥管理。
- SSE-KMS使用KMS托管密钥进行加解密,它包含三种模式:OSS默认托管的KMS密钥、采用BYOK(Bring Your Own Key)方式管理KMS密钥(该模式又细分为两类:阿里云提供的BYOK材料、用户自有的BYOK材料)。
客户端加密,分为如下两类: - CSE-C用户自主管理密钥,客户端基于自有技术管理密钥。
- CSE-KMS由KMS托管用户主密钥,客户端使用阿里云KMS技术来管理密钥。
如果对数据非常敏感,推荐客户端加密,从而保证到OSS的全流程都是密文,安全度最高,但对客户端有性能影响。采用服务端加密,卸载加密处理在云上,保证在OSS内部处理时,都是密文。
3.4日志监控
用户在访问 OSS 的过程中,会产生大量的访问日志。日志存储功能,可将 OSS 的访问日志,以小时为单位,按照固定的命名规则,生成一个 Object 写入您指定的 Bucket(目标 Bucket,Target Bucket)。通过这些日志信息,可用于安全审核。
OSS监控服务提供系统基本运行状态、性能以及计量等方面的监控数据指标,并且提供自定义报警服务,帮助跟踪请求、分析使用情况、统计业务趋势,及时发现以及诊断系统的相关问题。
四、(稳)数据保护之道:容灾备份
安全保存好数据后,然后就是做好数据保护,保证数据不丢不错,抵御自然灾害、人为误操作。
4.1跨区域复制
跨区域复制(Bucket Cross-Region Replication)是跨不同OSS数据中心(地域)的存储空间(Bucket)自动、异步复制文件(Object),它会将Object的创建、更新和删除等操作从源存储空间复制到不同区域的目标存储空间。
跨区域复制功能能够很好的提供Bucket跨区域容灾,或满足用户数据复制的法规需求。目标Bucket中的对象是源Bucket中对象的精确副本,它们具有相同的对象名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。
4.2同城冗余存储
OSS采用多可用区(AZ)机制,将用户的数据分散存放在同一地域(Region)的3个可用区。当某个可用区不可用时,仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%(12个9)的数据设计可靠性以及 99.995% 的服务设计可用性。
OSS的同城冗余存储能够提供机房级容灾能力。当断网、断电或者发生灾难事件导致某个机房不可用时,仍然能够确保继续提供强一致性的服务能力,整个故障切换过程用户无感知,业务不中断、数据不丢失,可以满足关键业务系统对于“恢复时间目标(RTO)”以及“恢复点目标(RPO)”等于0的强需求。
4.3版本控制
开启存储空间(Bucket)版本控制特性后,针对数据的覆盖和删除操作将会以历史版本的形式保存下来。通过文件(Object)的版本控制,用户在错误覆盖或者删除 Object 后,能够将 Bucket 中存储的 Object 恢复至任意时刻的历史版本。
版本控制和数据生命周期结合可实现类似回收站功能,避免软件错误、人为误操作、病毒攻击等逻辑错误造成的数据丢失。
五、(用)价值挖掘之道:数据湖
数据保护完善后,不能作为数据资产静静的躺在角落,而是应该构建数据湖、挖掘数据的价值,这是企业上云最关键的目标。
企业通过构建云上数据湖、挖掘更多价值,从而驱动行业新未来,数据湖构建分为4个环节:
- 多源站数据采集
- 基于OSS构建数据湖
- 进行结构化、非结构化数据处理与分析
- 数据可视化
5.1非结构数据分析
OSS产品长期为行业提供解决方案,基于数据就近处理的架构原则,卸载了合适的算子到存储,提供了丰富的数据处理能力,典型如:
- 图片处理
- 视频处理
- 文档预览
- AI图片分析
- 对象的SQL条件、投影(Projection)卸载
在双十一期间,基于近存储的数据卸载处理框架,大大降低业务的带宽需求,并采用硬件加速技术,实现10倍的图片处理时延优化。
5.2结构化大数据分析
针对结构化数据的大数据分析,OSS和阿里体系的大数据相关产品结合,通过业务打磨,提供了如下典型的解决方案:
- 阿里云 EMR JindoFS + OSS 的大数据分析,它通过OSS做持久化、本地存储缓存加速计算本地化,以及优化的元数据管理,实现比HDFS更佳的性能。
- 阿里云 DLA + OSS 的大数据分析,DLA(Data Lake Analytics)对用户保存在 OSS里面的数据建立数据湖,对数据进行各个维度的分析,分析完成得到业务洞见之后,再把这些产生的结果回流到的 RDS,供前台业务决策。
- 阿里云 MaxCompute + OSS 的大数据分析,实现阿里云计算、数据的生态融合。基于OSS海量视频、图像、音频等数据的巨大价值,拉通OSS数据、TableStore数据、和MaxCompute内部存储数据,在MaxCompute的核心计算引擎上进行融合。
六、总结
综合企业上云的“迁、存、稳、用”的四个步骤:
- 数据迁移,关注数据量、带宽、一致性。
- 安全管理,配置认证、授权、加密、日志监控。
- 数据保护,开启跨域复制、同城冗余、版本控制+生命周期管理。
- 价值挖掘,支持结构化、非结构化数据分析。
通过多年的企业数据上云经验,公共云并非会让企业IT人员失业,而是实现知识拓展、技能提升。因为使用公共云,让基础设施管理就是代码调用(Infrastructure as a code),从而可以让企业IT人员有更多的时间、精力学习最新的技术,比如大数据、AI、5G等。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
云原生下的微服务实践 | 注册中心管理 & Serverless 编排
本文整理自阿里云容器平台技术专家冬岛和阿里云高级工程师草谷的直播分享。 微服务注册中心治理的难点 微服务架构的一个核心理念就是让微服务之间解耦,每一个微服务都可以独立的横向扩展,但这也带来了一定的复杂性。 例如,当业务达到一定的规模之后,微服务的数量和单个微服务实例的数就会变的很多,从而导致微服务注册中心需要管理很多服务地址,同时还需要给所有的上下游提供服务注册和服务发现的能力。这无疑增加了微服务注册中心的维护难度。同时,微服务架构对注册中心的性能和稳定性提出了更高的要求,这给注册中心的运维开发人员,带来了不少的挑战。 此外,在服务升级的过程中需要手动的做灰度的迭代。而传统的部署模式存在一个很大的弊端,就是需要提前准备好资源并部署好应用,传统的部署模式不能很好的根据业务的实时请求做自动弹性,那么这部分提前准备的冗余资源就是极大的浪费。 可见,托管一个基于微服务架构的业务需要解决注册中心的问题,还需要解决应用实例弹性和流量管理的问题,最好还能让资源按需使用、按量付费。 针对上面的这些问题,今天我们给大家带来两款云产品:阿里云微服务引擎 MSE 和 阿里云容器服务 Knative。MSE ...
- 下一篇
Spring-Cloud-Alibaba-Nacos微服务|注册中心+流量|限流
Spring-Cloud-Alibaba-Nacos Demo 本项目内容为Spring Cloud Nacos样例 GitHub:nacos-cloud Gitee:nacos-cloud 公益调试Nacos:https://nacos.qekang.com 账号/密码:nacos 公益调试Sentinel:https://sentinel.qekang.com 账号/密码:sentinel 模块说明 nacos-api:API 模块 服务接口和模型定义 nacos-limiting: 使用Sentinel实现接口限流 nacos-config:Spring Cloud Nacos配置中心 nacos-provider:Spring Cloud 服务提供方 nacos-consumer:Spring Cloud 服务消费方 nacos-gateway:Spring Cloud 网关简易实现 nacos-dao:Spring Cloud 数据交互层 nacos-model:Spring Cloud 模型实体层 nacos-service:Spring Cloud service服务逻辑...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- 设置Eclipse缩进为4个空格,增强代码规范
- Mario游戏-低调大师作品
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池