首页 文章 精选 留言 我的

精选列表

搜索[智慧建筑],共10000篇文章
优秀的个人博客,低调大师

YARN简短的建筑

从Hadoop的0.23版本号,MapReduce进行了全面的彻底的变革。也就是我们今天看到的MapReduce 2.0或者我们也能够叫它YARN. 老版本号的JobTracker有两个基本的功能:资源管理、任务调度与监控。 Yarn的思路就是把这两个功能进行拆分,分别交给两个独立进程进行维护。这两个进程各自是ResourceManager进程和ApplicationMaster进程。 ApplicationMaster进程是每一个Job一个。 RM和NM两种角色构成了Hadoop集群的计算框架。 RM对全部Job的资源申请具有终于的决定权。 ApplicationMaster进程负责从RM获得资源,并与NM一起运行监控tasks. RM有两个基本的组件:Sheduler、ApplicationManager Sheduler负责给执行的程序分配资源(存储容量、队列等)。Sheduler仅仅管调度,无论应用程序的状态。即便是应用程序由于种种原因失败了。也和他没有关系。Sheduler依据每一个程序对资源的申请来进行调度。 resourceContainer是一个新抽象的概念,它是内存、CPU、磁盘、网络等资源的抽象集合,第一版仅仅支持了内存。 Sheduler以resourceContainer为单位进行资源分配。 Scheduler在设计上採用了插件的策略,CapacityScheduler 和FairScheduler 就是Scheduler的两个插件。 类似于Eclipse,扩展起来easy吧? CapacityScheduler 支持分层次队列,该功能使得它能够分配很多其它的集群资源(分配那些未来会被释放的资源) ApplicationsManager 负责接收提交的任务,找到运行任务的ApplicationMaster 的容器,在容器失败的情况下,对容器进行重新启动。 NodeManager 是个client程序,提供ApplicationsManager 执行须要的容器,并对所在机器的资源(CPU、内存、磁盘、网络)进行监控,并把监控结果汇报给ResourceManager/Scheduler. ApplicationMaster 从Scheduler获得资源。跟踪任务的状态和运行进度。 MRV2与老版本号的稳定版的MR兼容性,旧的版本号MR编译再来看看新的集群方案可以被执行。 版权声明:本文博客原创文章,博客,未经同意,不得转载。 本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/4658166.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

HDFS建筑与shell操作

一个、hadoop1.1.0演示 hadoop它适合于大容量数据存储和分布式计算平台 hadoop核心由hdfs和mapreduce组成 hdfs这是一个主从结构,仅有一个。是namenode:从节点有非常多个 分布式文件系统与HDFS (HDFS体系结构与基本概念) Distributed File System 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到很多其它的操作系统管理的磁盘中。可是不方便管理和维护,因此迫切须要一种系统来管理多台机器上 的文件,这就是分布式文件管理系统 。 是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。 通透性。 让实际上是通过网络来訪问文件的动作。由程序与用户看来。就像是訪问本地的磁盘一般。 容错。即使系统中有某些节点脱机,总体来说系统仍然能够持续运作而不会有数据损失。 分布式文件管理系统非常多,hdfs仅仅是当中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。 二、HDFS的shell操作 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 全部的FS shell命令使用URI路径作为參数。 URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。 当中scheme和authority參数都是可选的。如果未加指定,就会使用配置中指定的默认scheme。 比如:/parent/child能够表示成hdfs://namenode:namenodePort/parent/child。或者更简单的/parent/child(如果配置文件是namenode:namenodePort) 大多数FS Shell命令的行为和相应的Unix Shell命令类似。 三、HDFS经常使用命令 -help [cmd] //显示命令的帮助信息 -ls(r) <path> //显示当前文件夹下全部文件 -du(s) <path> //显示文件夹中全部文件大小 -count[-q] <path> //显示文件夹中文件数量 -mv <src> <dst> //移动多个文件到目标文件夹 -cp <src> <dst> //复制多个文件到目标文件夹 -rm(r) //删除文件(夹) -put <localsrc> <dst> //本地文件拷贝到hdfs -copyFromLocal //同put -moveFromLocal //从本地文件移动到hdfs -get [-ignoreCrc] <src> <localdst> //拷贝文件到本地。能够忽略crc校验 -getmerge <src> <localdst> //将源文件夹中的全部文件排序合并到一个文件里 -cat <src> //在终端显示文件内容 -text <src> //在终端显示文件内容 -copyToLocal [-ignoreCrc] <src> <localdst> //拷贝到本地 -moveToLocal <src> <localdst> -mkdir <path> //创建目录 -touchz <path> //创建一个空文件 HDFS 的shell练习 hadoop fs -ls / 查看HDFS根文件夹 hadoop fs -mkdir /test 在根文件夹创建一个文件夹test hadoop fs -mkdir /test1 在根文件夹创建一个文件夹test1 版权声明:本文博客原创文章。博客,未经同意,不得转载。 本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/4752051.html,如需转载请自行联系原作者

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册