HDFS Federation简介
背景
熟悉大数据的人应该都知道,HDFS 是一个分布式文件系统,它是基于谷歌的GFS实现的开源系统,设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的HDFS架构中有2个NameNode和多个DataNode,如下:
从上面可以看出 HDFS 的架构其实大致可以分为两层:
- Namespace:由目录,文件和数据块组成,支持常见的文件系统操作,例如创建,删除,修改和列出文件和目录。
Block Storage Service:这个部分又由两部分组成:
存储(Storage)
- 是由DataNode提供,主要在本地文件系统存储数据块,并提供读写访问。
数据块管理(Block Management),这个模块由NameNode提供
- 通过处理DataNode的注册和定期心跳来提供集群中DataNode的基本关系;
- 维护数据到数据块的映射
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
MaxCompute 助力衣二三构建智能化运营工具
摘要:本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。衣二三作为亚洲最大的共享时装平台,MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢?程异丁通过衣二三数据体系架构,从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。 以下是精彩视频内容整理。 衣二三是谁?衣二三是亚洲最大的共享时装平台。衣二三提供女性服饰包月租赁制服务,会员们在APP上挑选喜爱的衣服,可以在平台上用固定的月费在一整月内不断地换穿衣服,衣二三通过快递将衣服送到客户手中,客户只要会员期有效,就可以一直穿这件衣服,当会员不想穿的时候,衣二三还会通过快递按照约定的时间地点将衣服收回,这样会员就可以继续下新的订单,可以不断地换穿各种衣服。我们的客户
- 下一篇
网易云音乐的消息队列改造之路 | 7月26号云栖夜读
点击[订阅云栖夜读日刊](https://yq.aliyun.com/publication/5),专业的技术干货,不容错过! # 阿里专家原创好文 **1.网易云音乐的消息队列改造之路** 网易云音乐从13年4月上线以来,业务和用户突飞猛进。后台技术也从传统的 Tomcat 集群到分布式微服务快速演进和迭代,在业务的不断催生下,诞生了云音乐的 RPC,API 网关和链路跟踪等多种服务,消息队列也从 RabbitMQ 集群迁移到 Kafka集群。对于消息队列,更多处于使用阶段,也在使用中出现很多问题。因此我们期望提供一种完全可控,出现问题我们自己能排查,能跟踪,可以根据业务需求做定制改造的消息队列。[阅读更多》》](https://yq.aliyun.com/articles/710806) **2.阿里小程序亮相2019上海云峰会:大生态促成许多“小而美”** 7月25日下午,在上海世博中心的阿里云峰会上海站上,阿里巴巴小程序繁星计划以展区加开放式论坛形式,与各领域开发者、企业和生态合作伙伴充分交流了小程序一云多端的规划和进展,以及阿里系各端APP向小程序开放的资源和能力。[阅读更多...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境