大数据学习笔记（三）：HDFS分布式文件系统架构原理详解

2018-03-03 747

在网易云课堂买了卡夫卡的大数据课程，开始学习咯！

HDFS分布式文件系统

解决问题：海量数据的存储——>分布式结构设计

分布式的特点：

集群，有多台机器共同协作完成存储
主从架构设计

HDFS设计思想

1.namenode -主节点 -领导

主要存储文件的属性信息，即文件的元数据：
- 文件的名称
- 文件的位置
- 文件的副本数
- 文件的拥有者、组、权限
- 存储快
- 各个块在哪些datanode节点上

2.datanode -从节点 -随从

存储具体的文件

简单解释一下上图：
1.不同的交换机在不同的机架上，存储文件在不同的机架上，当一个机架中的副本损坏，可以通过最近的一个机架去恢复数据。
2.读文件和写文件，如图上图所示：

读文件：客户端先去找namenode拿到文件的元数据，知道文件存储在哪一个datanode上（遵循就近的原则），然后去读文件。
写文件：客户端先去namenode去请求，在哪台机器可以写。

读文件：

client -> namenode
client ->datanode

写文件

client ->namenode
client ->datanode

微信关注我们

原文链接：https://yq.aliyun.com/articles/507906

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hello World, S/4HANA for Customer Management 1.0

SAP CRM的前世今生在我之前的微信公众号文章SAP的这三款CRM解决方案，您能区分清楚么我曾经提到过我作为成都SAP研究院CRM产品开发团队的一员工作过一段时间。我向在SAP德国总部工作的德国老前辈们请教SAP CRM最早的版本是何时问世的，得到的答复是上世纪末本世纪初。作为一个PC游戏迷，我联想到了供我领略众多国内外游戏大作的微软操作系统DOS, Windows 95, 98, 2000, Me和XP, 20年转瞬即逝，如今它们已经远离我们的视线了。再回到我曾经工作的SAP CRM。每当Jerry在SAPGUI里调试着SAP CRM那些Created字段显示为本世纪初的ABAP代码时，脑子里情不自禁地浮现出曹老板和他神作里的千里马形象: * 同样,SAP的这三款CRM解决方案，您能区分清楚么里也提到了另一款SAP成都研究院的开发团队参与开发的产品：S/4HANA for Customer Management 1.0 今天(2018年2月28日)，这款产品终于揭开了TA的神秘面纱 : 在SAP成都研究院开发团队和SAP全球其他部门同事们的共同努力下，S/4HANA for...

2018-03-03

579

使用事务码VD51和VD52创建和修改Customer Material。下图是我在ERP创建的Material，为其维护了一个Customer Material AOP。当下载到CRM后，在WebClient UI上显示如下：下载Customer Material的主要配置：通过表KNMT的字段KUNNR指定待下载的Customer ID: 将ERP的Material 1427先下载到CRM 常见错误错误消息Number not in interval XXX - XXX when downloading a customer from ERP 这个错误是试图从ERP下载上图编号为3471的Customer。错误消息：为什么错误消息里提到的interval是0000300000 - 0000399999？当ERP的Customer被下载到CRM时，会创建一个对应的Business Partner的实例。在这个例子里，通过调试方式得知CRM创建Business Partner时使用的Partner group为0002：查看0002对应的number range设置为07：而...

2018-03-04

659

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。