Hadoop 运行wordcount 实例

来源：互联网发布：货车软件编辑：程序博客网时间：2024/05/16 10:42

一.运行环境

操作系统：ubuntu14.04
hadoop版本：hadoop-2.5.2

二.操作步骤

我在自己电脑上搭建的是hadoop伪分布式的配置，所以wordcount实例只是在一台机器上运行的。
在机器上，我的hadoop 安装目录时/usr/local/hadoop,这里我没有配置环境变量，因此是直接在目录下执行的，首先是进入hadoop安装目录 cd /usr/local/hadoop
1. 格式化文件系统: bin/hadoop namenode -format
2. 开启dfs进程：sbin/start-dfs.sh （也可以启动所有进程）
3. 创建hdfs系统的用户目录：bin/hdfs dfs -mkdir -p /user/hadoop
4. 创建输入hdfs系统输入文件目录：bin/hdfs dfs -mkdir input
5. 创建本地输入文件目录：mkdir local_input
6. 在本地输入文件目录中添加两个文本文件：sudo vim file0.txt file1.txt
7. 将本地文件添加到hdfs输入文件目录中：bin/hadoop dfs -put ./local_input/file*.txt input
8. 运行Hadoop 自带的wordcount 例子：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output
9. 查看结果：bin/hdfs dfs -cat output/*

三.常见错误

出现无法连接的错误：可能是进程没有启动
出现output文件夹已存在的错误：删除掉上次的文件夹，hdfs -rm -r /user/hadoop/output
出现input文件夹不存在的情况，在输入命令时可以输入全路径：/user/hadoop/input

0 0