Hadoop Tips-低调大师

Hadoop Tips

2017-11-09 633

2、hadoop fs 和hadoop dfs的区别？（注意还有一个hadoop dfsadmin）

　　粗略的讲，fs是个比较抽象的层面，在分布式环境中，fs就是dfs；但在本地环境中，fs是local file system，这个时候dfs就不能用。

3、将hadoop的jar包添加到classpath，举例walker在/etc/profile中添加了：

 
        export 
        CLASSPATH=.:
        /home/walker/hadoop-1
        .2.1/*:
        /home/walker/hadoop-1
        .2.1
        /lib/
        *

4、HBase中为什么要有Column Family？

5、从python角度理解map/reduce：Python内建函数之——filter,map,reduce 。

6、MapReduce Job（摘自《Hadoop实战（第2版）——3.2 MapReduce 计算模型》）

　　在Hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段：Map阶段和Reduce阶段。这个两个阶段分别用两个函数来表示，即Map函数和Reduce函数。Map函数接收一个<key, value>形式的输入，然后产生同样为<key, value>形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合到一起传递给Reduce函数，Reduce函数接收一个如<key, (list of values)>形式的输入，然后对这个value集合进行处理并输出结果，Reduce的输出也是<key, value>形式的。

7、如果copyFromLocalFile过程中出现下面类似错误，可能是local文件系统上crc文件原因。abc.txt文件的crc文件为.abc.txt.crc，注意最前面有个点。参考：HADOOP中的CRC数据校验文件

 
        2015-11-25 14:21:14,743 INFO org.apache.hadoop.fs.FSInputChecker: Found checksum error: b[0, 16384]=53514c69746520666f726d61742
       
        org.apache.hadoop.fs.ChecksumException: Checksum error: /usr/local/.../xxx.txt at 0
       
        at org.apache.hadoop.fs.FSInputChecker.verifySum(FSInputChecker.java:350) 
       
        at org.apache.hadoop.fs.FSInputChecker.readChecksumChunk(FSInputChecker.java:294) 
       
        at org.apache.hadoop.fs.FSInputChecker.read1(FSInputChecker.java:228) 
       
        at org.apache.hadoop.fs.FSInputChecker.read(FSInputChecker.java:195) 
       
        at java.io.DataInputStream.read(DataInputStream.java:83) 
       
        at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:56) 
       
        at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:110) 
       
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:263) 
       
        at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1632) 
       
        at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1610) 
       
        at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1582)

8、Hadoop2.6.0的FileInputFormat的任务切分原理分析（即如何控制FileInputFormat的map任务数量）

9、关于输入压缩文件

（0）、查看当前支持哪些格式，在hadoop/conf/core-site.xml配置文件中，查找配置项io.compression.codecs的值。

（1）、可以在SetMRInfo中这样设置：

 
        job.getConfiguration().set(
        "io.compression.codecs"
        , 
        "org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec"
        );

（2）、Hadoop 压缩实现分析

（3）、GZIP、LZO、Zippy/Snappy压缩算法应用场景小结

（4）、hadoop对于压缩文件的支持

10、设置输出gzip压缩格式。（hadoop深入研究:(九)——mapreduce中的压缩）

 
        import 
        org.apache.hadoop.io.compress.GzipCodec;   
       
        TextOutputFormat.setCompressOutput(job, 
        true
        ); 
       
        TextOutputFormat.setOutputCompressorClass(job, GzipCodec.
        class
        );

11、mapred.reduce.slowstart.completed.maps （map完成多少百分比时，开始shuffle）。例如：

 
        job.getConfiguration().setFloat(
        "mapred.reduce.slowstart.completed.maps"
        , 
        0
        .9f);

12、grep查找hdfs文件内容。（对HDFS上多个文件并行执行grep操作）

 
        hadoop fs -
        ls 
        /我是
        /HDFS/
        目录 | \ 
       
        awk 
        '{print $8}' 
        | \ 
       
        xargs 
        -n 1 -I {} -P 10 
        bash 
        -c 
        "hadoop fs -cat {} | zgrep '要查找的字符串'"

13、HDFS查看目录大小。

 
  
    
      
     
        单位Byte：
       
 
        bin
        /hadoop 
        fs -
        du 
        / | 
        sort 
        -n 
       

        单位MB：
       
 
        bin
        /hadoop 
        fs -
        du 
        / | 
        awk 
        -F 
        ' '  
        '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' 
        | 
        sort 
        -n 
       

        单位GB，大于1G：
       
 
        bin
        /hadoop 
        fs -
        du 
        / | 
        awk 
        -F 
        ' '  
        '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' 
        | 
        sort 
        -n 
       
 
    

   
 

14、关于BytesWritable。

1、两个坑。

（1）、getBytes()返回的byte数组后面可能有无效内容。（Hadoop使用ByteWritable时的一个注意事项）

（2）、像下面这样在Reduce中遍历迭代器时，并没有重新new对象，只是用set方法替换内容。（Hadoop BytesWritable的一些有趣发现）

 
        for 
        (BytesWritable item : values) { 
       
        //item是同一个对象 
       
        }

2、反序列化BytesWritable。

 
        for 
        (BytesWritable item : values) { 
       
        XXXXObject xObj = 
        new 
        XXXXObject(); 
       
        byte
        [] bs = 
        new 
        byte
        [item.getLength()];   
       
        System.arraycopy(item.getBytes(), 
        0
        , bs, 
        0
        , item.getLength());   
       
        VipcloudUtil.DeserializeObject(bs, xObj); 
       
        }

*** walker ***

本文转自walker snapshot博客51CTO博客，原文链接http://blog.51cto.com/walkerqt/1357489如需转载请自行联系原作者

RQSLT

微信关注我们

原文链接：https://yq.aliyun.com/articles/511216

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从零开始安装Hadoop视频教程

从零开始安装Hadoop视频教程 Hadoop 是一个能够对大量数据进行分布式处理的软件框架，用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热，组成大型集群系统，由于它的可伸缩性能够处理PB级的数据，更加适用于大数据时代的大量的分布的数据处理，而成本又相对比价廉价。市面上已有不少资料讲解Hadoop，首次接触这一块的朋友单村依靠这些零散的资料而搭建一个Hadoop集群，困难可想而知，所以制作了这一视频教程让大家能够快速体验搭建过程。本视频教程从Oracle VM virtualBox下安装操作系统开始，零起点讲解Hadoop的安装过程。全屏浏览：http://www.tudou.com/programs/view/RG7FMRO6JPw/?rpid=117459337&resourceId=117459337_06_05_9 本文转自李晨光 51CTO博客，原文链接：http://blog.51cto.com/chenguang/1177509，如需转载请自行联系原作者

2017-11-10

478

一、Hadoop 1.0的模型： | split 0->map-[sort]->[1,3..] | /merge | ==> reducer-->part 0 =>HDFS replication split 1->map-[sort]->[2,6..] |————————————— |==> reducre--->part 1 =>HDFS replication split 2->map-[sort]->[4,2..] | | | //INPUT HDFS | //output HDFS //启动有3个map，reducer只启动了2个,sort:本地排序后发送给reducer 相同的key发送到同一个reducer //merge:把多个数据流整合为一个数据流工作流程： Client--->Job--->Hadoop MapReduce master | | V / \ Job parts Job parts | | V V [Input] -- map1 reduceA----&g...

2017-11-10

552

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Hadoop Tips

从零开始安装Hadoop视频教程

Hadoop入门(二)

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Nacos

Sublime Text

欢迎您来访！