Alluxio简介
一、Alluxio是什么?
Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件,主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。
Alluxio的前身为Tachyon。
二、Alluxio应用场景
Alluxio居于传统大数据存储(如:Amazon S3,Apache HDFS和OpenStack Swift等)和大数据计算框架(如Spark,Hadoop Mapreduce)之间,如下图所示:
在大数据领域,最底层的是分布式文件系统,如Amazon S3、Apache HDFS等,而较高层的应用则是一些分布式计算框架,如Spark、MapReduce、HBase、Flink等,这些分布式框架,往往都是直接从分布式文件系统中读写数据,效率比较低,性能消耗比较大。而如果我们将其架构与底层分布式文件系统与上层分布式计算框架之间,以文件的形式在内存中对外提供读写访问服务的话,那么Alluxio可以为那些大数据应用提供一个数量级的加速,而且它只要提供通用的数据访问接口,就能很方便的切换底层分布式文件系统。
三、Alluxio系统架构
与其他诸如HDFS、HBase、Spark等大数据相关框架一致,Alluxio也是一个主从结构的系统。它的主节点为Master,负责管理全局的文件系统元数据,比如文件系统树等,而从节点为Worker,负责管理本节点数据存储服务。另外,Alluxio还有一个组件为Client,为用户提供统一的文件存取服务接口。
当应用程序需要访问Alluxio时,通过客户端先与主节点Master通讯,或许对应文件的元数据,然后再和对应Worker节点通讯,进行实际的文件存取操作。所有的Worker会周期性地发送心跳给Master,维护文件系统元数据信息和确保自己被Master感知扔在集群中正常提供服务,而Master不会主动发起与其他组件的通信,它只是以回复请求的方式与其他组件进行通信。这与HDFS、HBase等分布式系统设计模式是一致的。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
python基础教程第2版 20 项目1:即时标记
初始版本: 点击(此处)折叠或打开 #!/usr/bin/env python #-*- coding:utf-8 -*- ''' python基础教程第2版 20 项目1:即时标记 主要使用正则 将一段文本转换成有格式的 ''' import sys,re #找出块 #收集所有行,直到空行,然后返回已经收集的行. def lines(file): for line in file: yield line yield '\n' def blocks(file): block=[] for line in lines(file): #判断是否是空行 if line.strip(): block.append(line) elif block: yield ''.join(block).strip() block = [] print(' 测试 ') title=True for block in blocks(sys.stdin): block = re.sub(r'\*(.+?)\*',r'\1',block) if title: print(' ') print(block) pri...
- 下一篇
【技术干货】原来阿里云自助实验室的系统架构是这样的啊~
本文作者 上海驻云资深系统开发工程师 周逸灵 大家都知道阿里云上线了自助实验室的学习平台了吗~该平台又叫云中沙箱! 本文就是来告诉大家整个平台的系统架构和基本实现方式,希望对想要在云上开发的您有一定的帮助~ 云中沙箱是什么? 如今越来越多的企业用户将传统机房服务器迁移至云计算平台,无论是稳定性的提高,抑或是维护成本的降低,都是云计算带来的不可否认的优势。然而,如果仅仅是从物理主机转变为虚拟云主机,那显然是不够的,云计算平台在提供云主机服务的同时,也推出了各种其他相应的产品。那么这些产品如何使用,如何互相配合完成生成目的,依然是需要技术人员需要了解的内容。云中沙箱便是这么一个为技术人员提供云产品培训,并可以模拟真实云计算平台环境的一个培训平台。 此外,云中沙箱本身也是部署在云计算平台上,那么下面就简单介绍一下云中沙箱的技术实现。 云中沙箱用到了哪些云产品? 云中沙箱本身所需要的云产品并不复杂,极端地说,绝大多数应用就算仅仅是用云主机也是可行的,但这并不是一个好主意。根据具体需求选择所需产品才较为合理。云中沙箱根据本身的需求,使用了阿里云四大件(ECS、RDS、SLB、OSS)来部...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6