首页 文章 精选 留言 我的

精选列表

搜索[字体分类],共10002篇文章
优秀的个人博客,低调大师

HDFS 常用操作分类汇总整理

1、HDFS文件的权限以及读写操作 HDFS文件的权限: 与Linux文件权限类似 r: read; w:write; x:execute,权限x对于文件忽略,对于文件夹表示是否允许访问其内容 如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan HDFS的权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁 HDFS文件的读取: HDFS文件的写入: HDFS文件存储: 两个文件,一个文件156M,一个文件128在HDFS里面怎么存储? –Block为64MB –rapliction默认拷贝3份 HDFS文件存储结构: 2、HDFS下的文件操作 (1)列出HDFS文件 通过“-ls”命令列出HDFS下的文件 wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-ls (2)列出HDFS目录下某个文档中的文件 此处展示的是“-ls 文件名”命令浏览HDFS下名为in的文档中的文件 wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-lsin (3)上传文件到HDFS 此处展示的是“-put 文件1 文件2”命令将hadoop-0.20.2目录下的test1文件上传到HDFS上并重命名为test wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-puttest1test 注意:在执行“-put”时只有两种可能,即是执行成功和执行失败。在上传文件时,文件首先复制到DataNode上,只有所有的DataNode都成功接收完数据,文件上传才是成功的。 (4)将HDFS中的文件复制到本地系统中 此处展示的是“-get 文件1 文件2”命令将HDFS中的in文件复制到本地系统并命名为getin: wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-getingetin (5)删除HDFS下的文档 此处展示的是“-rmr 文件”命令删除HDFS下名为out的文档: wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-rmrout 执行命令后,查看只剩下一个in文件,删除成功: (6)查看HDFS下的某个文件 此处展示的是“-cat 文件”命令查看HDFS下in文件中的内容: wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfs-catin/* 输出: helloworld hellohadoop PS:bin/hadoop dfs 的命令远不止这些,但是本文的这些命令很实用,对于其他的操作,可以通过“-help commandName”命令所列出的清单来进一步的学习 3、管理与更新 (1)报告HDFS的基本统计信息 通过“-report”命令查看HDFS的基本统计信息 wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfsadmin-report 执行结果如下所示: 14/12/0205:19:05WARNconf.Configuration:DEPRECATED:hadoop-site.xmlfoundintheclasspath.Usageofhadoop-site.xmlisdeprecated.Insteadusecore-site.xml,mapred-site.xmlandhdfs-site.xmltooverridepropertiesofcore-default.xml,mapred-default.xmlandhdfs-default.xmlrespectively ConfiguredCapacity:19945680896(18.58GB) PresentCapacity:13558165504(12.63GB) DFSRemaining:13558099968(12.63GB) DFSUsed:65536(64KB) DFSUsed%:0% Underreplicatedblocks:1 Blockswithcorruptreplicas:0 Missingblocks:0 ————————————————- Datanodesavailable:1(1total,0dead) Name:127.0.0.1:50010 DecommissionStatus:Normal ConfiguredCapacity:19945680896(18.58GB) DFSUsed:65536(64KB) NonDFSUsed:6387515392(5.95GB) DFSRemaining:13558099968(12.63GB) DFSUsed%:0% DFSRemaining%:67.98% Lastcontact:TueDec0205:19:04PST2014 (2)退出安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何的修改。安全模式的目的是在系统启动时检查各个DataNode 上数据块的有效性,同时根据策略对数据块进行必要的复制和删除,当数据块的最小百分比数满足配置的最小副本数条件时,会自动退出安全模式。 wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfsadmin-safemodeleave (3)进入安全模式 wu@ubuntu:~/opt/hadoop-0.20.2$bin/hadoopdfsadmin-safemodeenter (4)添加节点 可扩展性是HDFS的一个重要的特性,向HDFS集群中添加节点是很容易实现的。添加一个新的DataNode节点,首先在新加的节点上安装好hadoop,要和NameNode使用相同的配置,修改HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改HADOOP_HOME/conf/slaves文件,加入新节点主机名。再建立到新节点无密码SSH连接,运行启动命令: $ bin/start-all.sh 通过http://(主机名):50070可查看到新的DataNode节点添加成功 (5)负载均衡 用户可以使用下面的命令来重新平衡DataNode上的数据块的分布: $ bin/start-balancer.sh 本文作者:佚名 来源:51CTO

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册