java 远程连接hadoop集群

来源:互联网 发布:论文抄袭软件 编辑:程序博客网 时间:2024/05/29 07:49
第一个错误  
报错 说缺少什么tarce类 把集群的复制下来就好了
/usr/hdp/2.2.9.0-3393/hadoop/client/htrace-core.jar
不知道原因 我的 maven配置这样的
<dependency>          <groupId>junit</groupId>          <artifactId>junit</artifactId>          <version>3.8.1</version>          <scope>test</scope>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --><dependency>    <groupId>org.apache.hadoop</groupId>    <artifactId>hadoop-client</artifactId>    <version>2.6.3</version></dependency>



第二个错误

Exception in thread "main" java.lang.NullPointerException
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:808)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:656)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:444)

需要下载文件 http://download.csdn.net/download/u011273101/10154729 放入 位置下面有说道

由第二个引起的的
下载hadoop.dll、winutils.exe等文件文件后 还不行原因:由于hadoop.dll 版本问题出现的,这是由于hadoop.dll 版本问题2.4之前的和自后的需要的不一样,需要选择正确的版本(包括操作系统的版本),并且在Hadoop/bin和 C:\windows\system32 上将其替换。

原创粉丝点击