首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:http://network.51cto.com/art/202009/627040.htm

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储)? 第二,计算和存储分离后,出现了性能瓶颈,计算如何加速和优化(湖加速)? 第三,针对需要的计算场景,选择什么样的计算引擎(湖计算)? 湖存储可以基于我们熟悉的HDFS,在公共云上也可以选择对象存储,例如阿里云OSS。在公共云上,基于对象存储构建数据湖是目前业界最主流的做法,我们这里重点探讨第二个问题,结合阿里云上的EMR JindoFS优化和实践,看看数据湖怎么玩“加速”。 湖加速 在数据湖架构里,湖存储(HDFS,阿里云OSS)和湖计算(Spark,Presto)都比较清楚。那么什么是湖加速?大家不妨搜索一下…(基本没有直接的答案)。湖加速是阿里云EMR同学在内部提出来的,顾名思义,湖加速即为数据湖加速,是指在数据湖架构中,为了统一支持各种计算,对数据湖存储提供适配支持,进行优化和缓存加速的中间层技术。这里面出现较早的社区方案应该是Alluxio,Hadoop社区有S3A Guard,AWS有EMRFS...

探索云计算对应用程序开发的影响

云计算如今改变了企业构建和运行应用程序的方式。人们需要探索发生这种情况的原因,并了解采用云计算的企业对其发展的期望。 十年前,当亚马逊公司首次推出其云计算平台时,在全球技术领域掀起了一场重大变革浪潮,并使IT市场走上了如今已经价值1000亿美元行业市场的轨道。 云计算服务已经发展成一个多元化的市场,专注于提供不同类型的虚拟基础设施、开发平台和托管应用程序。VMware公司在多年前就在x86服务器上普及了虚拟机(VM),而按需租用容量的能力成为一项技术和业务创新。 在这几年中,很多云计算服务提供商发布了大量云计算服务,这些服务远远超出了定义早期云计算产品的计算、存储和网络服务,远远超出了应用程序堆栈。仅AWS公司在全球各地的几十个数据中心就提供了将近200种产品,而且这些数字将会不断增长。 随着AWS公司的业务发展,它变得更加复杂,甚至影响了架构决策。首先,它影响了计划云计算部署的基础设施工程师,后来改变了开发人员设计应用程序的方式。 与个人电脑和x86服务器的兴起引起了一波客户端服务器企业应用程序的应用浪潮类似,对云计算的兴趣激发了基于浏览器的应用程序的新开发语言和框架。在过去的十年中...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。