hadoop之 HDFS-Hadoop存档-低调大师

hadoop之 HDFS-Hadoop存档

2017-11-11 581

每个文件按块方式存储, 每个块的元数据存储在namenode的内存中
Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问
Hadoop存档文件可以用作MapReduce的输入

使用Hadoop存档工具

Hadoop存档是通过archive工具根据一组文件创建而来的,该存档工具运行一个MapReduce作业来并行处理所有的输入文件
使用archive

hadoop archive -archiveName files.har /my/files /my

第一个选项是存档文件的名称,这里是第一个参数 file.har
第二个参数是需要存档的文件
第三个参数是HAR文件的输出目录
列出HAR文件中的文件

hadoop fs -ls /my/files.har

递归列出HAR文件中的文件

hadoop fs -lsr /my/files.har
其他文件系统中引用HAR文件,则需要使用不同的URI路径格式,示例如下

  hadoop fs -lsr har:///my/files.har/my/files/dir
  hadoop fs -lsr har://hdfs-localhost:8020/my/files.har/my/files/dir

第二种格式仍以har方案标示一个HAR文件系统,但是用hdfs指定基础文件系统方案的权限

要删除HAR文件,需要使用递归格式进行删除,因为对于基础文件系统来说,HAR文件是一个目录

hadoop fs -rmr /my/files.har

不足

新建一个存档文件会创建原始文件的一个副本
一旦创建,不能修改
InputFormat不知道文件已经存档

文章可以转载，必须以链接形式标明出处。

本文转自张冲andy 博客园博客，原文链接：http://www.cnblogs.com/andy6/p/7491015.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/566103

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ELK安装文档及相关优化

前言：随着硬件成本的不断低廉，我们可以存储更多数据内容，也会对各数据加以利用，其中一项很重要的数据内容便是日志文件，无论是访问日志还是系统日志或是应用日志，都显得十分重要，而怎么加以利用一直是一个难题，本文就着重于ELK三套件的搭建，是比较流行或者说可靠的日志分析组件，值得注意的说，本文暂时只考虑单机Elasticsearch，并且为了作为演示，就linux的系统日志收集作为演示。版本说明： ElasticSearch 1.7.1 Kibana 4..1 Logstash 1.5.2 JAVA jdk-7u76 注：最新的上面不一定是最新的版本，不同的版本之间可能有兼容问题，而上面的组合是本人已经验证过的了。首先放一张图镇镇楼强调：不要用IE浏览Kibana！！！ ELK下载地址：https://www.elastic.co/downloads JAVA环境的安装就不演示了！！！(推荐使用jdk-7u76-linux-x64.gz) 1 2 3 tar zxvfelasticsearch-1.7.1. tar .gz tar zxvfkibana-4.1.1-linux...

2017-11-12

484

概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。这篇文档会为常用distcp操作提供指南并阐述它的工作模型。基本使用方法 distcp最常用在集群之间的拷贝： hadoop distcp hdfs://master1:8020/foo/barhdfs://master2:8020/bar/foo 这条命令会把master集群的/foo/bar目录下的所有文件或目录名展开并存储到一个临时文件中，这些文件内容的拷贝工作被分配给多个map任务，然后每个TaskTracker分别执行从master1到master2的拷贝操作。注意distcp使用绝对路径进行操作。命令行中可以指定多个源目录： hadoop distcp hdfs://master1:8020/foo/ahdfs://master1:8020/foo/bhdfs:/...

2017-11-12

700

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。