Ubuntu16.04下编译打包运行MapReduce Hadoop3.0.0-alpha4

1.将 Hadoop 的 classpath 信息添加到 CLASSPATH 变量中

• 在命令窗口中输入sudo gedit ~/.bashrc

• 在文件下方添加以下代码并保存

export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

• 在命令窗口使用source ~/.bashrc 使变量生效

2. 编译打包MapReduce（以WordCount.java为例）

• 在命令窗口使用su root切换到root账户

• cd 进入WordCount.java所在目录

• 使用 javac WordCount.java 进行编译

• 编译后会在WordCount.java所在目录下生成相应的多个.class文件，需要对这些.class文件打包成.jar文件

• 使用 jar -cvf WordCount.jar ./WordCount*.class 进行打包

3.运行WordCount

• su hadoop 切换用户

• sbin/start-all.sh 启动hadoop

• 在HDFS中创建目录input 

hadoop fs -mkdir /input

• 将任意txt文件放到input目录中（如hadoop目录下的LICENSE.txt）

hadoop fs -put LICENSE.txt /input

• 查看文件是否已复制到input目录中

hadoop fs -ls /input

• 使用hadoop运行WordCount.jar

hadoop jar WordCount.jar WordCount /input /output

• 查看生成的文件

hadoop fs -ls /output

• 查看输出的结果

hadoop fs -cat /output/part-r-00000