Window下Intellij Idea本地hadoop运行环境

来源：互联网发布：软件生命阶段编辑：程序博客网时间：2024/05/17 04:51

资源准备

下载代码资源包

下在hadoop-2.6.0安装包，可以去官网下载
下载winutils等文件
bin目录下载地址
等级太低上传不了完整版，就只上传了bin 目录，下载好 hadoop-2.6.0之后将下载的bin目录替换。

配置环境变量

在windows下配置hadoop-2.6.0的环境变量。
HADOOP_HOME=D:/hadoop-2.6.0
path = %HADOOP_HOME%\bin

下载配置文件

需要将集群上的core-site.xml,hbase-site.xml,hdfs-site.xml配置文件下载到本地并拷贝到 Intellij Idea工程的resources的目录中。

在Intellij Idea上运行

在Intellij Idea上新建工程，然后用以下代码进行测验

class hdfsTest {public static void main(String args[]) throws IOException {    download();}// 下载文件public static void download() throws IOException{    //以下两行用来指明登陆hadoop的用户和你本地的hadoop-2.6.0所存的目录。    System.setProperty("HADOOP_USER_NAME", "hadoop上的用户名");    System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.0");    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path src = new Path("D:\\");  // 目标文件    Path path = new Path("hdfs://10.0.0.51:8020/tmp/bbkt.log"); //源文件    fs.copyToLocalFile(path,src);}}

遇到的错误

1、Exception in thread “main” ExitCodeException exitCode=-1073741701:

这时你进到bin目录下双击winutils.exe 是否有弹窗报错，如果有则去一下网站解决这个问题
DirectX修复

2、util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

出现这个问题如果确认你的winutils.exe没有问题那么一般有两个原因
1，在上面程序中System.setProperty中制定的有问题。
2，配置环境配置的有问题。

0 2