构建maven工程打包成jar在hadoop上执行

1.创建maven 工程。

2.编写程序并配置pom.xml。

3.执行mvn命令。

    mvn clean：清理

    mvn install:  下载依赖包等。

    mvn package: 打包成jar. 在target中可以找到。

4.启动hadoop.

    sh start-dfs.sh

    sh start-yarn.sh

5. 删除输出文件，往HDFS中添加输入文件。

 （注意上一次执行的输出文件若不删除，下一次执行会中途抛错）

    hdfs dfs -rm -r hdfs://ip:port/user/username/out  ／／删除旧的输出文件

    hdfs dfs -mkdir hdfs://ip:port/user/username/in  ／／创建新的输入文件夹

    hdfs dfs -put in/in.txt /user/username/in     ／／把本地的文件推入hdfs

6.运行jar包

    hadoop jarhadoop-test-0.0.1-SNAPSHOT.jar package.MainName in out

7.将hdfs中的文件拉到本地，并关闭hadoop。

    hdfs dfs -get hdfs://ip:port/user/username/out  

8. 关闭hadoop

    sh stop-yarn.sh

    sh stop-dfs.sh

注：命令太多，每次执行不太便，可以把连续的命令放在sh文件中，执行一次就可以了。