hadoop之 HDFS-Hadoop存档-低调大师

hadoop之 HDFS-Hadoop存档

2017-11-11 604

每个文件按块方式存储, 每个块的元数据存储在namenode的内存中
Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问
Hadoop存档文件可以用作MapReduce的输入

使用Hadoop存档工具

Hadoop存档是通过archive工具根据一组文件创建而来的,该存档工具运行一个MapReduce作业来并行处理所有的输入文件
使用archive

hadoop archive -archiveName files.har /my/files /my

第一个选项是存档文件的名称,这里是第一个参数 file.har
第二个参数是需要存档的文件
第三个参数是HAR文件的输出目录
列出HAR文件中的文件

hadoop fs -ls /my/files.har

递归列出HAR文件中的文件

hadoop fs -lsr /my/files.har
其他文件系统中引用HAR文件,则需要使用不同的URI路径格式,示例如下

  hadoop fs -lsr har:///my/files.har/my/files/dir
  hadoop fs -lsr har://hdfs-localhost:8020/my/files.har/my/files/dir

第二种格式仍以har方案标示一个HAR文件系统,但是用hdfs指定基础文件系统方案的权限

要删除HAR文件,需要使用递归格式进行删除,因为对于基础文件系统来说,HAR文件是一个目录

hadoop fs -rmr /my/files.har

不足

新建一个存档文件会创建原始文件的一个副本
一旦创建,不能修改
InputFormat不知道文件已经存档

文章可以转载，必须以链接形式标明出处。

本文转自张冲andy 博客园博客，原文链接：http://www.cnblogs.com/andy6/p/7491015.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/566103

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ELK安装文档及相关优化

前言：随着硬件成本的不断低廉，我们可以存储更多数据内容，也会对各数据加以利用，其中一项很重要的数据内容便是日志文件，无论是访问日志还是系统日志或是应用日志，都显得十分重要，而怎么加以利用一直是一个难题，本文就着重于ELK三套件的搭建，是比较流行或者说可靠的日志分析组件，值得注意的说，本文暂时只考虑单机Elasticsearch，并且为了作为演示，就linux的系统日志收集作为演示。版本说明： ElasticSearch 1.7.1 Kibana 4..1 Logstash 1.5.2 JAVA jdk-7u76 注：最新的上面不一定是最新的版本，不同的版本之间可能有兼容问题，而上面的组合是本人已经验证过的了。首先放一张图镇镇楼强调：不要用IE浏览Kibana！！！ ELK下载地址：https://www.elastic.co/downloads JAVA环境的安装就不演示了！！！(推荐使用jdk-7u76-linux-x64.gz) 1 2 3 tar zxvfelasticsearch-1.7.1. tar .gz tar zxvfkibana-4.1.1-linux...

2017-11-12

501

概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。这篇文档会为常用distcp操作提供指南并阐述它的工作模型。基本使用方法 distcp最常用在集群之间的拷贝： hadoop distcp hdfs://master1:8020/foo/barhdfs://master2:8020/bar/foo 这条命令会把master集群的/foo/bar目录下的所有文件或目录名展开并存储到一个临时文件中，这些文件内容的拷贝工作被分配给多个map任务，然后每个TaskTracker分别执行从master1到master2的拷贝操作。注意distcp使用绝对路径进行操作。命令行中可以指定多个源目录： hadoop distcp hdfs://master1:8020/foo/ahdfs://master1:8020/foo/bhdfs:/...

2017-11-12

733

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。