hadoop 文件操作和代码运行测试-低调大师

hadoop 文件操作和代码运行测试

2017-11-01 591

1. 查看HDFS文件或目录

[xiaoyu@hadoop02 ~]$ cd hadoop-1.1.2
[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -ls
[xiaoyu@hadoop02 hadoop-1.1.2]$ echo $?
0
[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -lsr
[xiaoyu@hadoop02 hadoop-1.1.2]$ echo $?
0
[xiaoyu@hadoop02 hadoop-1.1.2]$

2. 新建HDFS目录或文件

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -mkdir TEST
[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -lsr
drwxr-xr-x - xiaoyu supergroup 0 2013-09-10 14:08 /user/xiaoyu/TEST

3. 上传文件到HDFS目录中

本地建立一个文件，内容如下：

[xiaoyu@hadoop02 hadoop-1.1.2]$ touch test.txt
[xiaoyu@hadoop02 hadoop-1.1.2]$ vim test.txt
[xiaoyu@hadoop02 hadoop-1.1.2]$ cat test.txt
Hello, Hadoop !
你好, Hadoop ！

上传到HDFS的TEST目录中，可以使用-copyFromLocal参数，也可以使用-moveFromLocal，分别是从本地拷贝到和从本地剪切到HDFS目录。

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -moveFromLocal test.txt TEST
[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -ls
Found 1 items
drwxr-xr-x - xiaoyu supergroup 0 2013-09-10 14:14 /user/xiaoyu/TEST
[xiaoyu@hadoop02 hadoop-1.1.2]$

4. 查看HDFS文件内容

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -cat TEST/test.txt

Hello, Hadoop !

你好, Hadoop ！

[xiaoyu@hadoop02 hadoop-1.1.2]$

5. 运行jar范例，统计文本单词词频

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop jar hadoop-examples-1.1.2.jar

wordcount TEST out

13/09/10 14:20:50 INFO input.FileInputFormat: Total input paths to process : 1

13/09/10 14:20:50 INFO util.NativeCodeLoader: Loaded the native-hadoop library

13/09/10 14:20:50 WARN snappy.LoadSnappy: Snappy native library not loaded

13/09/10 14:20:51 INFO mapred.JobClient: Running job: job_201309082325_0001

13/09/10 14:20:52 INFO mapred.JobClient: map 0% reduce 0%

13/09/10 14:21:03 INFO mapred.JobClient: map 100% reduce 0%

13/09/10 14:21:11 INFO mapred.JobClient: map 100% reduce 33%

13/09/10 14:21:13 INFO mapred.JobClient: map 100% reduce 100%

13/09/10 14:21:14 INFO mapred.JobClient: Job complete: job_201309082325_0001

13/09/10 14:21:14 INFO mapred.JobClient: Counters: 29

13/09/10 14:21:14 INFO mapred.JobClient: Job Counters

13/09/10 14:21:14 INFO mapred.JobClient: Launched reduce tasks=1

13/09/10 14:21:14 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=10619

13/09/10 14:21:14 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0

13/09/10 14:21:14 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0

13/09/10 14:21:14 INFO mapred.JobClient: Launched map tasks=1

13/09/10 14:21:14 INFO mapred.JobClient: Data-local map tasks=1

13/09/10 14:21:14 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=9864

13/09/10 14:21:14 INFO mapred.JobClient: File Output Format Counters

13/09/10 14:21:14 INFO mapred.JobClient: Bytes Written=38

13/09/10 14:21:14 INFO mapred.JobClient: FileSystemCounters

13/09/10 14:21:14 INFO mapred.JobClient: FILE_BYTES_READ=64

13/09/10 14:21:14 INFO mapred.JobClient: HDFS_BYTES_READ=146

13/09/10 14:21:14 INFO mapred.JobClient: FILE_BYTES_WRITTEN=109756

13/09/10 14:21:14 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=38

13/09/10 14:21:14 INFO mapred.JobClient: File Input Format Counters

13/09/10 14:21:14 INFO mapred.JobClient: Bytes Read=35

13/09/10 14:21:14 INFO mapred.JobClient: Map-Reduce Framework

13/09/10 14:21:14 INFO mapred.JobClient: Map output materialized bytes=64

13/09/10 14:21:14 INFO mapred.JobClient: Map input records=2

13/09/10 14:21:14 INFO mapred.JobClient: Reduce shuffle bytes=64

13/09/10 14:21:14 INFO mapred.JobClient: Spilled Records=10

13/09/10 14:21:14 INFO mapred.JobClient: Map output bytes=59

13/09/10 14:21:14 INFO mapred.JobClient: Total committed heap usage (bytes)=189464576

13/09/10 14:21:14 INFO mapred.JobClient: CPU time spent (ms)=4420

13/09/10 14:21:14 INFO mapred.JobClient: Combine input records=6

13/09/10 14:21:14 INFO mapred.JobClient: SPLIT_RAW_BYTES=111

13/09/10 14:21:14 INFO mapred.JobClient: Reduce input records=5

13/09/10 14:21:14 INFO mapred.JobClient: Reduce input groups=5

13/09/10 14:21:14 INFO mapred.JobClient: Combine output records=5

13/09/10 14:21:14 INFO mapred.JobClient: Physical memory (bytes) snapshot=281489408

13/09/10 14:21:14 INFO mapred.JobClient: Reduce output records=5

13/09/10 14:21:14 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1542262784

13/09/10 14:21:14 INFO mapred.JobClient: Map output records=6

6. 检查步骤5运行结果

[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -ls out

Found 3 items

-rw-r--r-- 1 xiaoyu supergroup 0 2013-09-10 14:20 /user/xiaoyu/out/_SUCCESS

drwxr-xr-x - xiaoyu supergroup 0 2013-09-10 14:19 /user/xiaoyu/out/_logs

-rw-r--r-- 1 xiaoyu supergroup 38 2013-09-10 14:20 /user/xiaoyu/out/part-r-00000

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -cat out/part-r-00000

! 1

Hadoop 2

Hello, 1

你好, 1

！ 1

[xiaoyu@hadoop02 hadoop-1.1.2]$

7. 删除HDFS测试文件和目录

[xiaoyu@hadoop02 hadoop-1.1.2] $ ./bin/hadoop fs -rmr TEST out

Deleted hdfs://hadoop01:9000/user/xiaoyu/TEST

Deleted hdfs://hadoop01:9000/user/xiaoyu/out

[xiaoyu@hadoop02 hadoop-1.1.2]$

至此，测试结束。

可以登录官网API文档查看http://hadoop.apache.org/docs/r1.1.2/api/org/apache/hadoop/examples/package-summary.html

更多的hadoop示例程序

本文转自xiaoyuwang 51CTO博客，原文链接：http://blog.51cto.com/wangxiaoyu/1293707，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/447904

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云栖技术之家

云栖的一年 2016年阿里总部以上技术分享感受到了阿里人的热情与钻研；体验了别样的分享模式和理念爱上了阿里也结识了云栖 201702 第一个留言：云HBase的使用场景及HBase的发展前景共2617条站内消息我的博客 201112 开始使用CSDN 从千里之外、到榜上有名、到资源分享直到2017-03-15 09:57:05 云栖创建第一篇话题博客入驻云栖开始了云栖学习影响之旅第一篇博客 Android Studio 那些年你常用的神奇快捷键及遇到的糗事儿我的话题点滴成长感谢小编：感谢包容和耐心，是他的热心，让我们在工作之余能够抽出时间，来总结和分享一些东西，得以坚持，从中收获；感谢平台：这个平台提供了太多丰富的知识，和最新前沿的思想和技术交流，让自己能够随时跟上时代的脚步；开放的环境，凝聚了一批共同的朋友，开心的交流，快乐的沟通，这也是云栖中最大的收获和成长；这一年的过程，从最初的谈了基本软件使用、到技术开发、病毒入侵、测试行业、大数据、云计算、人工智能、语言语法，世界变化太快，我们不光要学习，更要懂得思考，明白总结；这里就是我们总结分享的平...

2017-11-01

560

启动elasticsearch 报如下错误： [2017-05-10T10:04:50,648][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed at org.elasticsearch.bootstrap.SystemCallFilter.linuxImpl(SystemCallFilter.java:363) ~[elasticsearch-5.3.2.jar:5.3.2] at org.elasticsearch.bootstrap.SystemCallFilter.init(SystemCallFilter.java:638) ~[elasticsearch-5.3.2.jar:5.3.2] a...

2017-11-02

555

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。