将jar包上传到Hadoop服务器并执行jar包的方法--参数不对应导致报错output directory already exists
来源:互联网 发布:ubuntu版飞秋 编辑:程序博客网 时间:2024/04/28 08:56
ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException:Output directory hdfs://。。。。/user/root/input already exists
是由于参数不对应引起的,即,讲input文件夹对应到output参数上了。正确的执行jar包的方法为:
2.首先确认中间输出结果路径是不存在的,执行删除方法:
bin/hadoop fs -rmr output
3.创建输入路径input,并上传输入文件至该文件夹。
4.执行指令运行jar包wordcount.jar:
bin/hadoop jar wordcount.jar input output
这里要注意参数个数,如果在打包时就已经指定了执行main方法的类,比如WordCount类,那么在执行上述指令时就不要在指定类了,如果写:
bin/hadoop jar wordcount.jar WordCount input output
那么就需要在工程里面修改对应参数:
FileInputFormat.setInputPaths(conf,new Path(args[0]));0改为1
FileOutputFormat.setOutputPath(conf,new Path(args[1]));1改为2
最好的方法就是不再加上WordCount这个参数。
0 0
- 将jar包上传到Hadoop服务器并执行jar包的方法--参数不对应导致报错output directory already exists
- windows下idea编写WordCount程序,并打jar包上传到hadoop集群运行
- 如何通过网页方式将jar包上传到nexus
- 怎样将jar包上传到Sonatype Nexus仓库
- 如何通过网页方式将jar包上传到nexus
- 如何通过网页方式将jar包上传到nexus?
- 如何将jar包上传到Maven中央仓库
- 使用Ant实现打包jar包上传到服务器
- 用eclipse怎样将本地的项目打成jar包上传到mevan仓库
- 用eclipse怎样将本地的项目打成jar包上传到maven仓库
- Output directory hdfs://hadoop:8010/user/root/output already exists
- 将JNI的dll添加到jar包并发布和执行的方法
- 将JNI的dll添加到jar包并发布和执行的方法
- 缺少jar包而导致报的错
- java web的jar包冲突导致NoSuchMethodError报错
- Output directory /opt/user/output already exists
- 怎么快速将war包上传到服务器?
- 通过mvn命令行将第三方jar包上传到Nexus服务器上
- 各种开发手册
- JSP support not configured
- 《剑指Offer——名企面试官精讲典型编程题(纪念版)》已经出版
- 如何快速切入一门语言?
- 自己动手写处理器开篇介绍
- 将jar包上传到Hadoop服务器并执行jar包的方法--参数不对应导致报错output directory already exists
- SSH Key连接github提示Permission denied (publickey).错误
- liunx常用命令
- java发送邮件并添加附件
- 【Unity3D自学记录】实现地球仪般拖拽旋转的效果
- Python下使用MySQLdb连接MySQL出错的解决办法(一)
- Unity3D之协程(Coroutines & Yield )
- PB数据窗口对象之字段操作
- eclipse相关