Hadoop单词统计-低调大师

Hadoop单词统计

2018-07-28 578

1. 本地创建文本文件

[root@s166 fantj]# mkdir input
[root@s166 fantj]# cd input/
[root@s166 input]# echo "hello fantj" > file1.txt
[root@s166 input]# echo "hello hadoop" > file2.txt
[root@s166 input]# echo "hello mapreduce" > file3.txt
[root@s166 input]# ls
file1.txt  file2.txt  file3.txt

2. 将文件上传到hadoop

[root@s166 input]# hadoop fs -mkdir /wordcount
[root@s166 input]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2018-07-27 07:51 /wordcount
[root@s166 input]# cd ..
[root@s166 fantj]# ls
download  hadoop  input  jdk
[root@s166 fantj]# hadoop fs -put input/* /wordcount
[root@s166 fantj]# hadoop fs -ls /wordcount
Found 3 items
-rw-r--r--   3 root supergroup         12 2018-07-27 07:52 /wordcount/file1.txt
-rw-r--r--   3 root supergroup         13 2018-07-27 07:52 /wordcount/file2.txt
-rw-r--r--   3 root supergroup         16 2018-07-27 07:52 /wordcount/file3.txt

3. 启用hadoop自带单词统计进行处理

[root@s166 fantj]# cd /home/fantj/hadoop/share/hadoop/
[root@s166 hadoop]# ls
common  hdfs  httpfs  kms  mapreduce  tools  yarn
[root@s166 hadoop]# cd mapreduce/
[root@s166 mapreduce]# ls
hadoop-mapreduce-client-app-2.7.0.jar     hadoop-mapreduce-client-hs-plugins-2.7.0.jar       hadoop-mapreduce-examples-2.7.0.jar
hadoop-mapreduce-client-common-2.7.0.jar  hadoop-mapreduce-client-jobclient-2.7.0.jar        lib
hadoop-mapreduce-client-core-2.7.0.jar    hadoop-mapreduce-client-jobclient-2.7.0-tests.jar  lib-examples
hadoop-mapreduce-client-hs-2.7.0.jar      hadoop-mapreduce-client-shuffle-2.7.0.jar          sources
[root@s166 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.0.jar wordcount /wordcount /print

查看结果

[root@s166 mapreduce]# hadoop fs -ls /print
Found 2 items
-rw-r--r--   3 root supergroup          0 2018-07-27 07:55 /print/_SUCCESS
-rw-r--r--   3 root supergroup         37 2018-07-27 07:55 /print/part-r-00000
[root@s166 mapreduce]# hadoop fs -cat /print/part-r-00000
fantj   1
hadoop  1
hello   3
mapreduce   1

微信关注我们

原文链接：https://yq.aliyun.com/articles/650211

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop所有命令详解

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。 cat 使用方法：hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。示例： hadoop fs -ca...

2018-07-29

534

1. 从HDFS导出到RDBMS数据库 1.1 准备工作写一个文件 sqoop_export.txt 1201,laojiao, manager,50000, TP 1202,fantj,preader,50000,TP 1203,jiao,dev,30000,AC 1204,laowang,dev,30000,AC 1205,laodu,admin,20000,TP 1206,laop,grp des,20000,GR 上传到hdfs：hadoop fs -put sqoop_export.txt /sqoop/export/ 创建mysql数据库并增加授权: create database sqoopdb; grant all privileges on sqoopdb.* to 'sqoop'@'%' identified by 'sqoop'; grant all privileges on sqoopdb.* to 'sqoop'@'localhost' identified by 'sqoop'; grant all privileges on sqoopdb.* to ...

2018-07-29

558

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。